[論文レビュー] Developing a Simple Model for Sand-Tool Interaction and Autonomously Shaping Sand

Wooshik Kim, Catherine Pavlov+1 more|arXiv (Cornell University)|Aug 7, 2019

Image Processing and 3D Reconstruction参考文献 31被引用数 5

ひとこと要約

本稿では、砂の形状変形を簡素化した高さマップベースのモデルを提案し、A*に基づく運動計画法を用いて、文字や溝などの所望の形状に自動的に砂を形作る手法を開発した。A*と深層強化学習（DDPG、DQN）を用いた実験により、10,000回の学習エピソード後、2文字の正しい文字を描く部分的成功が達成され、26文字中20文字が少なくとも1本の正しいスティックを描いた。

ABSTRACT

Autonomy for robots interacting with sand will enable a wide range of beneficial behaviors, from earth moving for construction and farming vehicles to navigating rough terrain for Mars rovers. The goal of this work is to shape sand into desired forms. Unlike other common autonomous tasks of achieving desired state of a robot, achieving a desired shape of a continuously deformable environment like sand is a much more challenging task. The state of robot can be described with a couple of states-x, y, z, roll, pitch, yaw-but the desired shape of sand can not be described with just a few values. Sand is an aggregation of billions of small particles. After simplifying the model of sand and tool interaction by looking only at the surface of the heightmap, we can formulate the problems into something that is still high dimensional (hundreds to thousands of state dimensions) but much more solvable. We show how this problem can be formulated into a graph search problem and solve it with the A-star algorithm and report preliminary results on using deep reinforcement learning methods like Deep Q-Network and Deep Deterministic Policy Gradient.

研究の動機と目的

• 建設、農業、および惑星探査ロボット分野において不可欠な、連続的かつ変形可能な砂環境を自律的かつ効果的に形作る課題に対処すること。
• 砂の高次元状態空間を2次元高さマップとしてモデル化することで、計算的に実行可能な計画と学習を可能にすること。
• A*と深層強化学習（DQN、DDPG）を用いた運動計画フレームワークを構築し、1ストロークによる砂の形作業タスクを実現すること。
• 既存の地形力学的およびDEM手法と比較して、実験的溝断面プロファイルと照合することで、シミュレーションモデルの妥当性を検証すること。

提案手法

• 簡素化された砂のシミュレーションモデルは、拡散に類似した方程式に従う流れ率を持つ高さマップを用い、流れは勾配に比例し、パラメータkを調整することで1ステップで平衡状態に到達する。
• 最適な流れ率kは解析的に導出され、2次元8近傍接続においてk = Δx²/8となる。これにより、静止角に到達するまでのステップ数が最小化される。
• A*アルゴリズムは、離散化された高さマップ状態のグラフ探索として問題を扱い、ターゲット形状までの距離に基づくヒューリスティクスを用いて、最適な1ストローク経路を計画する。
• 最適性と計算コストのバランスを図るため、可変的なヒューリスティクス重みαを用い、ノード探索数を数万から数十万にまで削減した。
• 深層強化学習（DDPGおよびDQN）を用いて、スパarsityな報酬とシミュレーテッドダイナミクスを用いて、エンドツーエンドで学習可能なポリシーを学習した。
• シミュレーションの高速化のため、ツールの相互作用領域の周囲に限定した局所バウンディングボックス内の更新に制限することで、正確性を損なわず性能向上を達成した。

実験結果

リサーチクエスチョン

• RQ1 高次元的かつ連続的変形可能な砂環境を、ロボット計画と学習に効果的にモデル化するにはどうすればよいか？
• RQ2 高さマップベースの砂シミュレーションにおける最適な流れ率パラメータkは何か？ これは、安定的かつ効率的な平衡状態への収束を保証する。
• RQ3 A*計画法は、離散化された砂環境において、'S' や 'T' といった複雑な形状の最適な1ストローク経路を効果的に生成できるか？
• RQ4 深層強化学習（DDPG、DQN）は、スパarsityな報酬条件下で、アルファベットのようなターゲット形状に砂を形作る能力をどの程度学習できるか？
• RQ5 A*におけるヒューリスティクス重みαの選択は、砂形作業タスクにおける経路の最適性と計算効率のトレードオフにどのように影響するか？

主な発見

• A*計画法は、'S' 形状に対して最適な27ステップの経路を成功して発見したが、バックトラッキングの複雑さにより788,492個のノードを開いた。
• ヒューリスティクス重みαを7.2から3.0に低下させたことで、ノード探索数は63,568に削減され、'S' 形状の最適経路を依然として発見した。
• 'T' 形状では、αを3.0に低下させたことで、21ステップの経路（最適は18ステップ）を発見し、開いたノード数は820にまで減少した。
• 10,000回の学習エピソード後、DDPGはアルファベットの描画において部分的成功を達成し、2文字（XとZ）が正しく描かれ、26文字中20文字が少なくとも1本の正しいスティックを描いた。
• 最適な流れ率パラメータk = Δx²/8は、実験的に平衡状態への到達ステップ数を最小化することを検証し、安定的かつ効率的なシミュレーションを保証した。
• 局所バウンディングボックスの更新により、ツール周辺の領域に計算を制限することで、シミュレーション速度が向上し、計算オーバーヘッドは増加しなかった。