[論文レビュー] DexPoint: Generalizable Point Cloud Reinforcement Learning for Sim-to-Real Dexterous Manipulation

Yuzhe Qin, Binghao Huang+3 more|arXiv (Cornell University)|Nov 17, 2022

Robot Manipulation and Learning被引用数 12

ひとこと要約

DexPointは、ポイントクラウド入力を用いた、熟練した操作のためのシミュレーションから現実への強化学習フレームワークを提案する。これにより、現実世界の新規オブジェクトに対してゼロショット一般化が可能になる。想像上のハンドポイントクラウド拡張と接触に基づく高密度報酬を導入し、現実世界での微調整や真値のオブジェクト状態を必要とせずに、 grasping やドア開閉タスクで高い成功確率を達成する。

ABSTRACT

We propose a sim-to-real framework for dexterous manipulation which can generalize to new objects of the same category in the real world. The key of our framework is to train the manipulation policy with point cloud inputs and dexterous hands. We propose two new techniques to enable joint learning on multiple objects and sim-to-real generalization: (i) using imagined hand point clouds as augmented inputs; and (ii) designing novel contact-based rewards. We empirically evaluate our method using an Allegro Hand to grasp novel objects in both simulation and real world. To the best of our knowledge, this is the first policy learning-based framework that achieves such generalization results with dexterous hands. Our project page is available at https://yzqin.github.io/dexpoint

研究の動機と目的

• シミュレーションから現実世界への転移を可能にする汎用的な熟練した操作ポリシーを実現し、現実世界のデータやオブジェクト状態の監視を一切不要とする。
• 現実のロボットシステムにおける遮蔽、ノイズ、接触センサの欠如によって引き起こされるシミュレーションから現実への転移の課題を克服する。
• 1つのポリシーを訓練し、複数のオブジェクトカテゴリ、インferencing 時に未観測のインスタンスを含む、広範な一般化を実現する。
• 真値のオブジェクト状態や完全な検出器に依存せず、生のポイントクラウド観測にのみ依存することで、その依存性を排除する。
• 接触に配慮した報酬設計を用いることで、高次元制御タスクにおけるサンプル効率と学習安定性を向上させる。

提案手法

• ロボットの運動学的モデルを用いて、実世界のポイントクラウド観測に、完全なハンドポイントクラウドを想像的に追加することで、遮蔽された指の可視性を向上させる。
• 観測空間に接触状態を追加せずに、予測された接触ペアから導出される接触ベースの高密度報酬信号を導入する。
• 生の3次元観測を処理するための PointNet バックボーンを用い、PPO を用いてポイントクラウドベースのポリシーをエンドツーエンドで訓練する。
• オブジェクトのカテゴリーや形状の多様性をカバーするため、シミュレーション内で複数オブジェクトの訓練設定を採用する。
• ドメインランダマイゼーションとデータ拡張を適用し、センサのノイズや環境の変動に対する耐性を高める。
• 事前に計算されたオブジェクトモデルに依存せず、リアルタイムのポイントクラウド観測に応じて反応するクローズドループ制御ポリシーを採用する。

実験結果

リサーチクエスチョン

• RQ1 生のシミュレーション内でのみ訓練されたポイントクラウドベースのポリシーが、未観測のオブジェクトに対してゼロショットのシミュレーションから現実への転移を達成できるか？
• RQ2 想像上のハンドジオメトリをポイントクラウド入力に追加することで、遮蔽状況におけるロバストネスとサンプル効率が向上するか？
• RQ3 接触センサの入力を明示的に必要としない接触ベースの高密度報酬が、学習安定性とサンプル効率を向上させられるか？
• RQ4 シミュレーション内での複数オブジェクト訓練が、現実世界における未確認のオブジェクトカテゴリへの一般化に与える影響は何か？
• RQ5 真値のオブジェクト状態にアクセスできない状況で、生のポイントクラウド観測のみを用いて訓練されたポリシーが、現実世界のタスクにどの程度一般化できるか？

主な発見

• 26種類の混合カテゴリの未観測オブジェクトにおける現実世界の grasping タスクで、成功確率が 0.87 ± 0.03 を達成し、EigenGrasp などのベースラインを上回った。
• ドア開閉タスクでは、トレーニングドアで 0.72 ± 0.07、未観測のレバー形状を持つ新規ドアで 0.67 ± 0.01 の成功確率を達成し、ゼロショット一般化を実証した。
• アブレーションスタディの結果、想像上のハンドポイントクラウドと接触ベース報酬の併用が最高のパフォーマンスをもたらし、両者の有効性を確認した。
• 現実世界での微調整や真値のオブジェクト状態へのアクセスなしに、安定した訓練と成功した現実世界デプロイメントを達成した。
• ボトルよりもカンのほうが一般化性能が優れているが、これは遮蔽下で複数の指を連携して制御する必要があるためであり、想像上のポイントクラウドがその解決に寄与していると考えられる。
• 本手法は、現実世界データを一切使用せず、ポイントクラウド入力のみを用いて、シミュレーションから現実への熟練した操作におけるカテゴリーレベルの一般化を達成した最初の手法である。