[論文レビュー] Dexterous Imitation Made Easy: A Learning-Based Framework for Efficient Dexterous Manipulation

Sridhar Pandian Arunachalam, Sneha Silwal+2 more|arXiv (Cornell University)|Mar 24, 2022

Robot Manipulation and Learning被引用数 5

ひとこと要約

DIMEは、訓練を受けていない人間の操作者が単一のRGBカメラのみを用いて効率的な多指操作を実現する学習ベースのフレームワークです。市販のハンドポーズ推定とリターゲティングを活用することで、高品質なデモンストレーションを収集し、サンプル効率の高い状態の模倣学習を可能にし、シミュレーションおよび実世界の両方でAllegroハンドを用いた複雑なインハンドタスク（ひっくり返し、回転、スピンなど）において高い成功確率を達成しています。

ABSTRACT

Optimizing behaviors for dexterous manipulation has been a longstanding challenge in robotics, with a variety of methods from model-based control to model-free reinforcement learning having been previously explored in literature. Perhaps one of the most powerful techniques to learn complex manipulation strategies is imitation learning. However, collecting and learning from demonstrations in dexterous manipulation is quite challenging. The complex, high-dimensional action-space involved with multi-finger control often leads to poor sample efficiency of learning-based methods. In this work, we propose 'Dexterous Imitation Made Easy' (DIME) a new imitation learning framework for dexterous manipulation. DIME only requires a single RGB camera to observe a human operator and teleoperate our robotic hand. Once demonstrations are collected, DIME employs standard imitation learning methods to train dexterous manipulation policies. On both simulation and real robot benchmarks we demonstrate that DIME can be used to solve complex, in-hand manipulation tasks such as 'flipping', 'spinning', and 'rotating' objects with the Allegro hand. Our framework along with pre-collected demonstrations is publicly available at https://nyu-robot-learning.github.io/dime.

研究の動機と目的

• 高次元のロボットハンド向けに、サンプル効率が低い模倣学習ポリシーの課題に対処すること。
• 訓練を受けていない人間の操作者が単一のRGBカメラでのみ利用可能な遠隔操作を可能にすることで、高品質なデモンストレーションの収集の障壁を低減すること。
• シミュレーションおよび実世界への展開に適した、多様な模倣学習パラダイム（モデルフリー強化学習や非パラメトリック手法など）と互換性を持つフレームワークの開発。
• 高価な専用ハードウェアや長時間のキャリブレーションを必要とせず、安価で容易に収集可能なデモンストレーションによって、高性能な多指操作が可能になることを実証すること。

提案手法

• 単一のRGBカメラを用いて人間のハンドの動きを撮影し、市販のハンドポーズ検出器を適用してリアルタイムで先端部の位置を推定する。
• キネマティックに一貫性のあるマッピングを用いて、推定された人間の先端部位置をロボットハンドのキネマティック構成にリターゲティングする。
• 人間の操作者にリアルタイムの視覚フィードバックを提供することで、低遅延で直感的な操作を可能にし、最小限の訓練で実現する。
• このパイプラインを用いてデモンストレーションを収集し、それをシミュレーションで行動コーディング（BC）、BCRL、DAPG、PPOなどの模倣学習手法を用いてポリシーを学習する。
• 実機のロボットハンドでは、状態と画像ベースの表現をそれぞれ用いて、非パラメトリックな最近傍探索学習（INN）と視覚的模倣（VINN）を適用する。
• 視覚的特徴の質を向上させるために、自己教師付き表現学習（BYOL）を用い、ごみが多くて複雑なシーンにおける画像ベースの模倣学習を改善する。

実験結果

リサーチクエスチョン

• RQ1 単一のRGBカメラと訓練を受けていない人間の操作者でのみ、多指操作ポリシーを効率的に学習できるか？
• RQ2 低コストでキャリブレーションを最小限に抑えた遠隔操作システムによって収集されたデモンストレーションは、シミュレーションおよび実世界の両方で模倣学習に有効であるか？
• RQ3 単純な遠隔操作パイプラインから得たデモンストレーションを用いて、パラメトリック（例：BC、PPO）と非パラメトリック（例：INN）の異なる模倣学習手法は、どのように性能を発揮するか？
• RQ4 代表的表現学習（例：BYOL）は、限られたデモンストレーションと複雑でごみの多いシーンにおける視覚的模倣性能にどのような影響を与えるか？

主な発見

• DIMEでは、1タスクあたり約100秒でデモンストレーション収集が可能であり、人的訓練は最小限で、専用ハードウェアも不要である。
• シミュレーションでは、BCRLおよびPPOのファインチューニングにより、滑らかで人間らしいポリシーが得られ、元の遠隔操作デモンストレーションを上回った。PPOは、意図的に設計されていなかったにもかかわらず、回転およびスピンタスクを成功させた。
• 実機のAllegroハンドでは、INNが90度回転タスクで100％の成功率、ひっくり返しタスクで80％の成功率を達成し、パラメトリックな行動コーディングよりも優れた性能を示した。行動コーディングは、すべてのタスクで完全に失敗した。
• VINNは、画像ベースの模倣を用いてひっくり返しタスクで90％、90度回転タスクで70％の成功率を達成したが、視覚的に複雑でごみの多いシーンにおける表現学習が不十分なため、スピンタスクでは性能が低下した。
• 純粋な行動コーディングは、すべてのタスクで失敗した。これは、分布シフトとデモンストレーションカバレッジの制限が顕著であり、強化学習によるファインチューニングの必要性を示している。
• 本フレームワークは、ハンドコントローラ、デモンストレーションデータ、学習コードを含めて公開されており、サンプル効率の高い多指操作分野の今後の研究を支援する。