[論文レビュー] GraspARL: Dynamic Grasping via Adversarial Reinforcement Learning

Tianhao Wu, Fangwei Zhong+5 more|arXiv (Cornell University)|Mar 4, 2022

Robot Manipulation and Learning被引用数 5

ひとこと要約

GraspARLは、ロボットと動く物体がミニマックスゲームを繰り広げる敵対的強化学習フレームワークを提案する。ロボットが敵対的に生成された軌道に従って物体を把持するように訓練することで、未知の運動パターンに対しても優れた一般化性能を達成し、複雑な物体（マスタードボトルなど）の動的把持において、実世界のFranka Pandaロボットで80%の成功率を達成した。

ABSTRACT

Grasping moving objects, such as goods on a belt or living animals, is an important but challenging task in robotics. Conventional approaches rely on a set of manually defined object motion patterns for training, resulting in poor generalization to unseen object trajectories. In this work, we introduce an adversarial reinforcement learning framework for dynamic grasping, namely GraspARL. To be specific. we formulate the dynamic grasping problem as a 'move-and-grasp' game, where the robot is to pick up the object on the mover and the adversarial mover is to find a path to escape it. Hence, the two agents play a min-max game and are trained by reinforcement learning. In this way, the mover can auto-generate diverse moving trajectories while training. And the robot trained with the adversarial trajectories can generalize to various motion patterns. Empirical results on the simulator and real-world scenario demonstrate the effectiveness of each and good generalization of our method.

研究の動機と目的

• 実世界のロボティクスにおける、未知の物体運動パターンへの動的把持ポリシーの一般化の課題に対処する。
• シミュレーションにおける手動で設計された軌道の制限を克服し、複雑なまたはランダムな運動への一般化を制限する要因を排除する。
• ポリシー訓練中に多様で敵対的な物体軌道を自動生成する自己向上型の訓練フレームワークを開発する。
• 新たな物体幾何形状に配慮した報酬関数（OGAR）と衝突ペナルティを用いて、ポリシーのロバスト性と安全性を向上させる。
• ドメインランダマイゼーションやタスク固有のチューニングを一切行わずに、学習済みポリシーを実世界のロボットシステムに転送可能であることを実証する。

提案手法

• ロボットアーム（把持者）と敵対的ムーバーエージェントの間で、'動いてから把持する'ミニマックスゲームとして動的把持を定式化する。
• ゼロサム報酬構造を用いて、深層強化学習により両エージェントを同時に訓練し、ムーバーが次第に複雑で多様な軌道を生成できるようにする。
• 物体の幾何形状に配慮した報酬（OGAR）を導入し、ロボットが最適な把持領域へ誘導すると同時に、衝突をペナルティとして課す。
• 衝突チェック報酬を組み込んで、訓練中の安全性とポリシーの安定性を向上させる。
• 上から見た把持ポリシーとUKFベースの状態推定器を用いることで、遮蔽の影響を低減し、追跡のロバスト性を向上させる。
• 後向き経験再生と敵対的軌道生成によるカリキュラム学習を適用し、ポリシー収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 敵対的強化学習は、動的把持におけるポリシー一般化を向上させる多様で現実的である物体運動軌道を生成できるか？
• RQ2 提案された物体幾何形状に配慮した報酬（OGAR）は、標準的な密集報酬と比較して、訓練の安定性と把持成功確率をどのように向上させるか？
• RQ3 敵対的訓練は、ランダムまたは複雑な軌道を含む未知の運動パターンへの一般化をどの程度向上させるか？
• RQ4 訓練済みポリシーは、ドメインランダマイゼーションや微調整なしに、実世界のロボットプラットフォームに成功裏に転送可能か？
• RQ5 各構成要素（敵対的学習、OGAR、衝突チェック）が全体のパフォーマンスに果たす相対的寄与度は何か？

主な発見

• GraspARLは、Franka Pandaロボットを用いた実世界のマスタードボトルの動的把持で4/5の成功率（80%）を達成し、ポテトコンソメ缶では3/5の成功率を記録した。
• ランダム、直線、サイン、円形軌道を含む未知の運動パターンにおいて、ベースラインを上回る性能を示し、成功確率が著しく向上し、エピソード長が短くなった。
• アブレーションスタディの結果、敵対的学習がパフォーマンス向上に最も寄与しており、敵対的学習を含まないモデルは最悪の成功確率と最長のエピソード長を示した。
• 物体幾何形状に配慮した報酬（OGAR）は、標準的な密集報酬と比較して、特に高回転比条件下で訓練の安定性と成功確率を顕著に向上させた。
• 衝突チェック報酬は、ポリシーの安全性を向上させ、他の構成要素を除去してもエピソード長を短縮し、成功確率を向上させる寄与を示した。
• 人為的に設計された運動パターンを訓練中に必要とせず、複雑で未知の軌道に対しても良好な一般化性能を示し、効果的な自己学習カリキュラムの実現を示した。