[論文レビュー] Generalization in Dexterous Manipulation via Geometry-Aware Multi-Task Learning

Wenlong Huang, Igor Mordatch+2 more|arXiv (Cornell University)|Nov 4, 2021

Reinforcement Learning in Robotics参考文献 41被引用数 24

ひとこと要約

本論文は、1つの幾何学情報を意識したマルチタスクポリシーが、100を超える多様な実世界オブジェクトでの手の中での操作を実行し、未知の幾何にも一般化することができ、しばしば単一オブジェクトの専門家を上回ることを示しています。点群ベースのオブジェクト表現とマルチタスク学習を導入してゼロショット generalizationを達成します。

ABSTRACT

Dexterous manipulation of arbitrary objects, a fundamental daily task for humans, has been a grand challenge for autonomous robotic systems. Although data-driven approaches using reinforcement learning can develop specialist policies that discover behaviors to control a single object, they often exhibit poor generalization to unseen ones. In this work, we show that policies learned by existing reinforcement learning algorithms can in fact be generalist when combined with multi-task learning and a well-chosen object representation. We show that a single generalist policy can perform in-hand manipulation of over 100 geometrically-diverse real-world objects and generalize to new objects with unseen shape or size. Interestingly, we find that multi-task learning with object point cloud representations not only generalizes better but even outperforms the single-object specialist policies on both training as well as held-out test objects. Video results at https://huangwl18.github.io/geometry-dex

研究の動機と目的

• 多くのオブジェクトに一般化する dexterous in-hand manipulation の動機づけ。
• 学習したオブジェクト上で、マルチタスク学習が単一タスク専門家と同等または上回ることを示す。
• 未知のオブジェクトへの一般化を改善する幾何学情報を意識したオブジェクト表現を導入する。
• 表現を強化したマルチタスク学習が、より多くの学習オブジェクトとともにスケールすることを示す。

提案手法

• DDPGにHindsight Experience Replayを拡張して、オブジェクト間の勾配を合算することでマルチタスク設定へ適用。
• 現在位置と目標方位の2点クラウド入力に基づく幾何学情報を意識したオブジェクト表現エンコーダを導入し、オブジェクト分類と相対回転を予測。
• エンコーダをオブジェクトの点群で事前学習し、RL訓練中はエンコーダを凍結、アクターとクリティックの条件付けにエンコード表現を組み込む。
• 多数のオブジェクトに対して単一のポリシーを学習（Vanilla Multi-Task Policy）し、個別オブジェクトのオラクルポリシーと比較。
• 保持アウトセットの幾何学的に多様な114個のオブジェクトを用いたゼロショット一般化を評価（85件を訓練、29件をテスト）。
• 今後の研究のためのOpenAI Gymベースのシミュレータ（Shadow Hand）とデータセットの提供。

実験結果

リサーチクエスチョン

• RQ1 vanillaなマルチタスクポリシーが、個別オブジェクトの専門家と比較して大規模なオブジェクト集合で競争力のある性能を達成できるか。
• RQ2 幾何学情報を意識したオブジェクト表現を追加することで、未知のオブジェクトへのゼロショット一般化が改善されるか。
• RQ3 訓練オブジェクト数が、保持アウトオブジェクトへの一般化にどのように影響するか。
• RQ4 事前学習済みのオブジェクトエンコーダを凍結することは、ポリシー訓練中に微調整するより有益か。

主な発見

• 85個のオブジェクトで訓練した単一のマルチタスクポリシーは、個別オラクルポリシーの平均性能と同等であり、サンプル効率は17倍向上している（200M vs 3400Mサンプル）。
• 幾何学情報を意識したオブジェクト表現を使用すると、マルチタスクポリシーは保持アウトオブオブジェクトに対してゼロショット評価で個別オラクルを上回ることができる。
• オブジェクト表現の利点は、単一タスクポリシーを用いても持続し、保持アウトと訓練オブジェクトの性能を改善する。
• 訓練オブジェクト数を増やすとゼロショット一般化が改善され、表現ベースの方法はより強いスケーリングを示す。
• エンコーダを凍結する方が、ポリシー訓練中に微調整するよりも性能が良く、Many objectsでの事前訓練は保持アウトオブオブジェクトでの単一タスク性能を改善する。