[論文レビュー] End-to-End Affordance Learning for Robotic Manipulation

Yiran Geng, Boshi An+4 more|arXiv (Cornell University)|Sep 26, 2022

Robot Manipulation and Learning被引用数 4

ひとこと要約

本論文は、人間が定義したアクションプリミティブや別個のデータ収集を必要とせず、訓練中の接触インタラクションから直接視覚的アフォーダンスを学習するエンドツーエンド強化学習フレームワークを提案する。接触頻度を用いてアフォーダンスマップを予測し、それをポリシー学習と報酬設計に統合することで、8つの多様な操作タスク（マルチステージおよびマルチエージェント設定を含む）で最先端の成功確率を達成し、実世界への高い転送性を示した。

ABSTRACT

Learning to manipulate 3D objects in an interactive environment has been a challenging problem in Reinforcement Learning (RL). In particular, it is hard to train a policy that can generalize over objects with different semantic categories, diverse shape geometry and versatile functionality. Recently, the technique of visual affordance has shown great prospects in providing object-centric information priors with effective actionable semantics. As such, an effective policy can be trained to open a door by knowing how to exert force on the handle. However, to learn the affordance, it often requires human-defined action primitives, which limits the range of applicable tasks. In this study, we take advantage of visual affordance by using the contact information generated during the RL training process to predict contact maps of interest. Such contact prediction process then leads to an end-to-end affordance learning framework that can generalize over different types of manipulation tasks. Surprisingly, the effectiveness of such framework holds even under the multi-stage and the multi-agent scenarios. We tested our method on eight types of manipulation tasks. Results showed that our methods outperform baseline algorithms, including visual-based affordance methods and RL methods, by a large margin on the success rate. The demonstration can be found at https://sites.google.com/view/rlafford/.

研究の動機と目的

• 多様な物体の種類、形状、機能性にわたる一般化可能なロボット操作ポリシーの訓練という課題に対処すること。
• 人間が定義したアクションプリミティブや別個のデータ収集に依存する二段階型アフォーダンス学習手法の限界を克服すること。
• 人間の定義なしに、原始的な強化学習のインタラクションデータからアフォーダンス表現をエンドツーエンドで学習し、ポリシーの一般化性と頑健性を向上させること。
• ピックアンドプレースなどのマルチステージタスクや、デュアルアームプushingなどのマルチエージェント協調タスクといった複雑な操作シナリオを、タスク固有のアノテーションなしでサポートすること。
• デジタルツイン設定を用いて、実世界の環境への有効な転送を可能にすること。

提案手法

• 強化学習のインタラクションから得られる接触頻度を、視覚的アフォーダンスの代理指標として用い、ポリシー学習の過程で接触マップをエンドツーエンドで学習する。
• 予測されたアフォーダンスマップを追加の観測として統合し、エージェントの注目を高い可能性を持つインタラクションポイントへ向ける。
• アフォーダンスに基づく報酬設計（最大ポイント報酬、MPR）を組み込み、エージェントが最適なインタラクション位置に集中するよう促進する。
• 共有エンコーダとタスク固有のヘッドを備えたマルチタスクポリシーネットワークを採用し、アフォーダンスと操作ポリシーの共同学習を実現する。
• 最も有望なインタラクションポイントをアフォーダンスマップから抽出・監視するためのマックスポイント観測（MPO）機構を適用する。
• エージェント-オブジェクト（A2O）およびオブジェクト-オブジェクト（O2O）の両方のインタラクションをサポートする統一された接触表現を採用し、より広範なタスクカバレッジを実現する。

実験結果

リサーチクエスチョン

• RQ1 人間が定義したプリミティブや専用のデータ収集なしに、強化学習のインタラクションデータからエンドツーエンドでアフォーダンス表現を有効に学習できるか？
• RQ2 エンドツーエンドのアフォーダンス学習は、マルチステージやマルチエージェントシナリオのような複雑な操作タスクでの成功確率をどのように向上させるか？
• RQ3 MPO、MPR、E2Eトレーニングといった主要な構成要素が、全体のパフォーマンスと頑健性に果たす寄与度は何か？
• RQ4 学習されたアフォーダンス表現は、未観測の物体へ一般化可能であり、実世界のロボットシステムへも成功裏に転送可能か？
• RQ5 接触ベースのアフォーダンス学習フレームワークは、既存の二段階型アフォーダンス手法および標準的な強化学習ベースラインと比較して、多様なタスクにおいてどのように差をつけるか？

主な発見

• デュアルアームプッシュタスクにおいて、本手法はテストセットで93.8%の成功確率を達成し、次善のベースライン（MAPPO：7.8%）を大きく上回り、マルチタスク強化学習ベースライン（56.3%のテスト成功確率）すら上回った。
• デュアルアームプッシュタスクにおいて、MPOを除いたアブレーション（Ours w/o MPO）は、トレーニングで96.3%、テストで100%の成功確率を達成した。これは、MPOが複雑なマルチエージェント設定における学習の安定化に不可欠であることを示している。
• E2Eトレーニングを除いたアブレーション（Ours w/o E2E）は、トレーニングで55.9%、テストで50.0%の成功確率にとどまり、エンドツーエンドの共同学習がパフォーマンスに不可欠であることを示している。
• クローズドドアタスクでは、83.9%のトレーニング成功確率と78.5%のテスト成功確率を達成し、標準的な強化学習およびWhere2Actを含むすべてのベースラインを上回った。
• MPRを除いたアブレーション（Ours w/o MPR）は、デュアルアームプッシュタスクで95.9%のトレーニング成功確率と96.3%のテスト成功確率を達成した。これは、MPRはMPOやE2Eに比べて重要性が低いが、依然として有益であることを示している。
• デジタルツイン設定を用いて実世界のロボットシステムへ成功裏に転送され、未観測の物体に対しても正常に実行が可能であった。これにより、本手法の頑健性と一般化能力が裏付けられた。