[論文レビュー] Deep Affordance Foresight: Planning Through What Can Be Done in the Future

Danfei Xu, Ajay Mandlekar+4 more|arXiv (Cornell University)|Nov 17, 2020

Robot Manipulation and Learning参考文献 53被引用数 6

ひとこと要約

本稿では、将来的な行動の可能性をモデル化する「Deep Affordance Foresight (DAF)」を提案する。これは、古典的なアフォーダンスを拡張した学習による計画フレームワークであり、長期間にわたるロボット操作を可能にする。画像入力から潜在的ダイナミクスモデルとアフォーダンス予測モデルを学習することで、高成功率でマルチステップのタスクを計画可能となり、液体の注ぎ替えや道具の使用といった複雑なタスクにおいて、先行手法を上回る性能を示した。

ABSTRACT

Planning in realistic environments requires searching in large planning spaces. Affordances are a powerful concept to simplify this search, because they model what actions can be successful in a given situation. However, the classical notion of affordance is not suitable for long horizon planning because it only informs the robot about the immediate outcome of actions instead of what actions are best for achieving a long-term goal. In this paper, we introduce a new affordance representation that enables the robot to reason about the long-term effects of actions through modeling what actions are afforded in the future, thereby informing the robot the best actions to take next to achieve a task goal. Based on the new representation, we develop a learning-to-plan method, Deep Affordance Foresight (DAF), that learns partial environment models of affordances of parameterized motor skills through trial-and-error. We evaluate DAF on two challenging manipulation domains and show that it can effectively learn to carry out multi-step tasks, share learned affordance representations among different tasks, and learn to plan with high-dimensional image inputs. Additional material is available at https://sites.google.com/stanford.edu/daf

研究の動機と目的

• 組み合わせ的アクションスペースを有する高次元のロボット環境における長期間計画の課題に取り組む。
• 古典的なアフォーダンスの限界を克服する。これは、即時の行動可能性のみをモデル化し、長期的なタスク目標を無視するためである。
• 現在だけでなく、将来のタスク達成に向けて最適な行動を推論する手法を開発する。
• 液体の注ぎ替えなどの複雑なダイナミクスをモデル化できる、生のRGB観測からエンドツーエンドで訓練可能なフレームワークを実現する。
• 異なる操作タスク間で共通のタスクに依存しないアフォーダンス表現を共有することで、転移学習を促進する。

提案手法

• 即時の成功を要件としない、より緩いアフォーダンスの定義を導入し、行動の可能性を実行後の将来の可能性に注目してモデル化する。
• 実行されたスキル計画を条件として、将来の潜在状態を予測する潜在的ダイナミクスモデルを学習する。
• 現在および将来の潜在状態における行動の可能性を評価するアフォーダンス予測モデルを訓練する。
• 潜在的ダイナミクスモデルとアフォーダンスモデルを統合し、タスクゴールの達成確率を最大化するマルチステップ計画を選択する。
• 画像観測の符号化にResNetエンコーダーとSpatial-Softmax、MLPを組み合わせ、ピクセルからのエンドツーエンド学習を可能にする。
• 報酬に基づくカリキュラムを用いて、試行錯誤による学習を実施し、段階的に環境モデルを構築可能にする。

Figure 1: We illustrate our method in a tool-use domain (left). Classical affordance models the immediate effects of actions. In this case, a graspable(tool) would only inform that the tool can be grasped and held. However, the two tasks shown on the right require the robot to grasp the tool differe

実験結果

リサーチクエスチョン

• RQ1 アフォーダンス表現を、将来的な行動結果をモデル化できるように拡張可能か。これにより、マルチステップタスクの計画が改善可能か。
• RQ2 ロボットは、現在だけでなく、将来の行動可能性へつながる行動を選択できるように学習可能か。
• RQ3 1つのタスクに依存しないアフォーダンス表現を複数のタスク間で共有することで、効率的な転移学習が可能か。
• RQ4 生の画像入力から学習したモデルは、液体の注ぎ替えなどの複雑なダイナミクスを、操作タスクで十分に学習可能か。
• RQ5 既存の潜在空間計画アプローチと比較して、本手法は複雑なタスクにおけるサンプル効率と成功確率の面で優れているか。

主な発見

• DAFは1500エピソード以内に複雑な「コーヒーを用意する」タスクを0.6の成功確率で学習した。これは、GC-PlaNetが0.2未満で plateau に達するのに対し、顕著に優れている。
• DAFは低い性能ばらつきを示し、単純な「お茶を用意する」タスクでも高い成功確率を達成した。一方、GC-PlaNetは高い不安定性を示した。
• 事前学習済みの「お茶を用意する」ポリシーから微調整した場合、DAFはわずか300エピソードで「コーヒーを用意する」タスクを学習した。これは、優れた転送性を示している。
• 対照的に、GC-PlaNetは微調整を行っても顕著な改善を示さなかった。これは、DAFのタスクに依存しないアフォーダンス表現が、有効な知識転送を可能としていることを示している。
• DAFは高次元の画像入力から学習し、液体の注ぎ替えのような複雑なダイナミクスをモデル化でき、手動で定義することが困難なタスクに対しても成功した。
• 本手法により、生の視覚観測から「お茶を用意する」および「コーヒーを用意する」タスクを同時に学習可能となり、挑戦的な操作領域における強靭性と一般化能力を示した。

Figure 2: Results on the jointly learning the two tool-use tasks shown in Fig. 1 and a combined tool-use + stack task, where the robot has to use the tool to get both cubes and stack them on the green target. We compare our method (DAF) and a goal-conditional variant of PlaNet [ 24 ] (GC-PlaNet).