[論文レビュー] Learning Generalizable Dexterous Manipulation from Human Grasp Affordance

Yueh-Hua Wu, Jiashun Wang+1 more|arXiv (Cornell University)|Apr 5, 2022

Robot Manipulation and Learning被引用数 11

ひとこと要約

本論文では、人間のグリップアフォーダンスモデルを活用して、包括的かつ多様なデモを大規模に生成することで、器用な操作ポリシーの学習を可能にするILADという手法を提案する。PointNetを用いた幾何的表現学習と、新しい模倣学習目的を組み合わせることで、シミュレーション上での未観測オブジェクトに対する強力な一般化性能を達成し、ベースラインを大きく上回る性能を示した。

ABSTRACT

Dexterous manipulation with a multi-finger hand is one of the most challenging problems in robotics. While recent progress in imitation learning has largely improved the sample efficiency compared to Reinforcement Learning, the learned policy can hardly generalize to manipulate novel objects, given limited expert demonstrations. In this paper, we propose to learn dexterous manipulation using large-scale demonstrations with diverse 3D objects in a category, which are generated from a human grasp affordance model. This generalizes the policy to novel object instances within the same category. To train the policy, we propose a novel imitation learning objective jointly with a geometric representation learning objective using our demonstrations. By experimenting with relocating diverse objects in simulation, we show that our approach outperforms baselines with a large margin when manipulating novel objects. We also ablate the importance on 3D object representation learning for manipulation. We include videos, code, and additional information on the project website - https://kristery.github.io/ILAD/ .

研究の動機と目的

• トレーニング中に見られなかった新しいオブジェクトのインスタンスへの器用な操作ポリシーの一般化を課題とする。
• 模倣学習における人間のデモが小規模であるという制限を克服し、人間のグリップアフォーダンスモデルを用いて大規模かつ多様なデモを生成する。
• ポイントクラウド入力を用いたポリシー学習と3次元幾何的表現学習の共同最適化により、ポリシーの一般化を向上させる。
• 新しい模倣学習目的と表現のファインチューニングを用いて、未観測オブジェクトの効率的かつロバストな操作を実現する。
• 人間らしいグリップデモが、新しいオブジェクトにおけるポリシーの成功確率を向上させることを示す。

提案手法

• 同じカテゴリに属する多様な3次元オブジェクトにおいて、人間のグリップアフォーダンスモデルを用いて、実現可能なハンド・オブジェクト相互作用を予測することで、大規模な器用な操作デモを生成する。
• 運動計画法を用いて、予測されたグリップポーズを完全なロボット軌道デモに変換し、人間らしい到達およびグリップ運動をシミュレートする。
• ポリシーの信頼度に基づいてデモをランク付けし、高利得状態行動ペアに動的重みを付与する、新しい模倣学習目的を用いてポリシーを訓練する。
• ポイントクラウド入力に基づく幾何的表現の事前学習とファインチューニングを実行する、行動クラーニング目的とポリシーを共同最適化する。
• ポリシーが相互作用中に収集した新しいデータを用いて更新されるカリキュラム風の訓練戦略を導入し、継続的な表現の最適化を可能にする。
• 生成デモが所望のグリップポーズに近いかどうかを保証するためのしきい値ベースの計画メトリクス（δ）を用い、デモ品質とポリシー性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 人間のグリップアフォーダンスモデルから生成された大規模かつ多様なデモは、器用な操作における一般化を顕著に向上させるか？
• RQ2 ポリシーの信頼度が低いデモを優先する新しい模倣学習目的は、均一な重み付けと比較して、ポリシーの一般化をどのように改善するか？
• RQ3 デモに最適化されたPointNetによる幾何的表現学習は、未観測オブジェクトにおけるゼロショット性能をどの程度向上させるか？
• RQ4 デモ生成時にハンドのグリップポーズ情報を含めることで、ポリシーの成功確率と行動の自然さはどの程度向上するか？
• RQ5 デモの品質と自然さは、ポリシーが新しいオブジェクトインスタンスに一般化する能力にどのような影響を与えるか？

主な発見

• ILADは、ボトルカテゴリの未観測オブジェクトにおいて、0.95 ± 0.03の成功確率を達成し、次に良いベースラインの0.71 ± 0.15を大きく上回った。
• アブレーションスタディの結果、ハンドのグリップポーズ情報が欠落したデモでは成功確率がたった0.01 ± 0.01にとどまり、ハンド・オブジェクト相互作用のモデル化の重要性が示された。
• しきい値δ = 0.06とグリップポーズ情報の併用により、未観測ボトルにおいて0.65 ± 0.24の成功確率を達成し、正確なグリップ計画の価値が裏付けられた。
• Mechanical Turkを用いたユーザースタディでは、71%の参加者が生成デモをより自然だと評価しており、人間らしい自然さの向上が示された。
• 模倣学習と表現学習の両方を統合した共同学習（JL）アプローチが、全カテゴリで最高の成功確率を達成し、2つのコンponentの相乗効果を確認した。
• 学習曲線の結果、すべての手法がトレーニングオブジェクトでは類似した性能を示すが、ILADのみが未観測オブジェクトにおいても強い性能を維持しており、優れた一般化能力が裏付けられた。