[論文レビュー] VideoDex: Learning Dexterity from Internet Videos

Kenneth Shaw, Shikhar Bahl+1 more|arXiv (Cornell University)|Dec 8, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

VideoDex は、インターネット上の人体の操作動画を活用して、視覚的・行動的・物理的事前知識を統合することで、機械的器用さを学習する手法を提案する。視覚的特徴表現、人体の動き事前知識、ニューラル動的方策（NDP）を組み合わせることで、実世界の操作タスクにおいて強いゼロショットおよび少サンプル一般化性能を達成し、わずかなドメイン内デモンストレーションでのみ、7つのタスクで最先端の手法を上回った。

ABSTRACT

To build general robotic agents that can operate in many environments, it is often imperative for the robot to collect experience in the real world. However, this is often not feasible due to safety, time, and hardware restrictions. We thus propose leveraging the next best thing as real-world experience: internet videos of humans using their hands. Visual priors, such as visual features, are often learned from videos, but we believe that more information from videos can be utilized as a stronger prior. We build a learning algorithm, VideoDex, that leverages visual, action, and physical priors from human video datasets to guide robot behavior. These actions and physical priors in the neural network dictate the typical human behavior for a particular robot task. We test our approach on a robot arm and dexterous hand-based system and show strong results on various manipulation tasks, outperforming various state-of-the-art methods. Videos at https://video-dex.github.io

研究の動機と目的

• 大規模なインターネット上の人体操作動画を活用することで、現実世界のロボット方策学習におけるデータ効率性と安全性の課題を克服すること。
• 視覚的表現の事前学習にとどまらず、人体の動画を行動的および物理的事前知識の源として用いることにより、ロボット方策学習を進化させること。
• インターネット動画での事前学習後、わずかなドメイン内デモンストレーションでのみ、サンプル効率的な現実世界への適応を可能にすること。
• 3次元人体ポーズ推定とハンドリターゲティングを統合することで、高自由度のロボット操作における一般化性と耐性を向上させること。
• 視覚的・行動的・物理的事前知識を統合することで、視覚的または行動的事前知識のみを用いたベースラインと比較して優れた性能を達成できることを示すこと。

提案手法

• インターネット動画から人体の四肢軌道を抽出することで、行動的事前知識としての人体ポーズ推定（FrankMocap）を事前学習済みで用いる。
• 動画対照的表現学習法（Nair et al.）を適用し、人体動画から視覚的特徴を学習することで、視覚的事前知識を獲得する。
• ニューラル動的方策（NDP）を物理的事前知識として統合し、ロボットの運動ダイナミクスをモデル化し、滑らかで物理的に妥当な行動を保証する。
• 学習されたエネルギーベース関数を用いて、人体のハンドモーションをロボットのハンドにリターゲティングし、人体とロボットの運動学的構造を一致させる。
• 行動コーディングを用いて、視覚的・行動的・物理的事前知識を統合した1つのオープンループ方策を訓練し、実世界デモンストレーションをわずかに微調整する。
• 2ストリームアーキテクチャを採用して、手首とハンドの運動制御を分離し、多様な操作タスクにおける一般化性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 インターネット上の人体操作動画は、現実世界の設定において、サンプル効率の良いロボット方策学習の強力な事前知識として機能するか？
• RQ2 人体動画から得られる視覚的・行動的・物理的事前知識を統合することで、器用な操作におけるゼロショットおよび少サンプル一般化性能がどのように向上するか？
• RQ3 行動的事前知識と視覚的事前知識の相対的な貢献度は、サンプル複雑性の低減と成功確率の向上にどのように寄与するか？
• RQ4 手首とハンドの運動制御を分離することで、方策性能およびタスク間一般化性にどのような影響を与えるか？
• RQ5 インターネット動画とわずかな実世界デモンストレーションでのみ学習された完全なオープンループ方策は、未観測の物体やタスクに一般化可能か？

主な発見

• VideoDex は、完全なデータ条件下で配置タスクで90％の成功率を達成し、制約付きデータ（1バーラントあたり10デモンストレーション）では70％を記録し、すべてのベースラインを上回った。
• 1バーラントあたり5デモンストレーションでのみで80％の成功率を達成し、顕著な少サンプル一般化能力を示した。
• 行動的事前知識が視覚的事前知識よりも顕著に寄与しており、視覚的事前知識のみを有する VideoDex-MVP は同じタスクで40％の成功率であったのに対し、VideoDex は90％を達成した。
• 2ストリームアーキテクチャ（手首とハンドの制御を別々に処理）は、単一ストリーム方策よりも20％の性能向上をもたらし、VideoDex-Single はわずか30％の成功率にとどまった。
• 物理的事前知識（NDP）は性能向上に顕著な寄与を示し、BC-NDP はほとんどのタスクで BC-RNN や BC-Open を上回ったが、BC-RNN の慎重な行動がもたらした高 grasping 成功率のため、一部のタスクでは BC-RNN が優れた結果を示した。
• LEAP Hand は、全タスク平均でアレゴ・ハンドよりも7–12％高い性能を示し、ロボットハードウェアの選定が方策性能に影響を与えることを示した。