[論文レビュー] Learning to Imitate Object Interactions from Internet Videos

Austin Patel, Andrew Wang+2 more|arXiv (Cornell University)|Nov 23, 2022

Human Pose and Action Recognition被引用数 6

ひとこと要約

本稿では、2次元画像の手がかりと時間的滑らかさの制約を用いて、インターネット動画から4次元（3次元空間＋時間）の手と物体の軌道を再構築する最適化ベースの新規手法RHOVを提案する。この手法により、強化学習を用いた物理シミュレータ内での多様な物体操作の模倣が可能となり、人間のようには見えないエンドエフェクタを搭載した標準的なロボットアームでも成功したロボットの模倣が達成された。

ABSTRACT

We study the problem of imitating object interactions from Internet videos. This requires understanding the hand-object interactions in 4D, spatially in 3D and over time, which is challenging due to mutual hand-object occlusions. In this paper we make two main contributions: (1) a novel reconstruction technique RHOV (Reconstructing Hands and Objects from Videos), which reconstructs 4D trajectories of both the hand and the object using 2D image cues and temporal smoothness constraints; (2) a system for imitating object interactions in a physics simulator with reinforcement learning. We apply our reconstruction technique to 100 challenging Internet videos. We further show that we can successfully imitate a range of different object interactions in a physics simulator. Our object-centric approach is not limited to human-like end-effectors and can learn to imitate object interactions using different embodiments, like a robotic arm with a parallel jaw gripper.

研究の動機と目的

• 制約のないインターネット動画からロボットが物体との相互作用を学べるようにすること。これらの動画は豊富で現実的ではあるが、隠蔽やアノテーションの欠如により困難である。
• 相互に手と物体が隠蔽し合う動画において、3次元空間＋時間の4次元再構築が困難である問題に取り組むこと。従来の手法では失敗する。
• 軌道の再構築に加え、強化学習を用いて物理シミュレータ内でそれらを成功裏に模倣できるシステムを開発すること。
• 人間の手の運動学的特性に依存せず、物体中心の運動に焦点を当てることで、平行ジョイントグリッパーを装備したロボットアームなどの非ヒューマノイドなボディ形状に対しても模倣を可能にすること。

提案手法

• RHOVは3段階のプロセスで4次元の手と物体の軌道を再構築する：2次元の手のキーポoinトとマスク推定、2次元マスクと深度制約を用いた微分可能レンダリング、3次元および2次元オプティカルフローの滑らかさを用いた時間的最適化。
• 事前学習済みのインスタンスセグメンテーション（PointRend）を活用して2次元の物体マスクを生成し、微分可能レンダリングを用いて2次元の監視信号から3次元の物体ポーズを最適化する。
• 時間的滑らかさはオプティカルフローと3次元軌道正則化を用いて強制され、フレーム間のジャイタ除去と対称的誤解を解消する。
• 再構築された4次元軌道から、位置、回転、速度の差を組み合わせた密度の高い報酬関数を構築し、ポリシー学習をガイドする。
• 物理シミュレータ（Frankaロボットアームを用いる）で強化学習ポリシーを訓練し、再構築された物体軌道を再現するようにする。アブレーションスタディにより報酬設計の有効性を検証した。
• 本手法は物体中心のアプローチであるため、人間のようなエンドエフェクタを必要とせず、異なるロボットの形状への転移が可能である。

実験結果

リサーチクエスチョン

• RQ1 相互に隠蔽し合う動画や限られた監視信号のもとで、制約のないインターネット動画から4次元の手と物体の軌道を正確に再構築できるか？
• RQ2 2次元の手がかりと滑らかさ制約のみを用いて、時間的整合性と幾何学的妥当性を4次元再構築でどのように確保できるか？
• RQ3 インターネット動画から再構築された4次元軌道が、強化学習を用いて物理シミュレータ内でロボットによって成功裏に模倣できるか？
• RQ4 物体のみの最適化と比較して、手と物体を同時に再構築することで、物体軌道の精度がどの程度向上するか？
• RQ5 模倣報酬関数の異なる構成要素（例：回転、速度、位置）が、ロボットポリシー学習の成功にどのように影響するか？

主な発見

• RHOVは100 Days of Handsデータセットの100本のYouTube動画から4次元軌道を成功裏に再構築し、実世界の動画の変動に強く、頑健であることが示された。
• 時間的最適化により、物体軌道のジャイタが低減され、対称的物体のアンビギュイティに起因する姿勢の反転が解消され、再構築の安定性が向上した。
• オラクルの2次元マスクを用いることで、物体再構築誤差が13.0 mmから9.3 mmに低下し、2次元セグメンテーションの品質が3次元再構築に顕著に影響することが示された。
• 独立した最適化と比較して、手と物体を同時に再構築することで、物体の精度が1.6 mm向上（14.6 vs. 13.0 mm）し、手のモデル化が物体回復に寄与することがわかった。
• 密度の高い報酬関数の任意の要素（例：回転、速度、位置）を削除すると、模倣成功率が著しく低下し、特に回転損失を削除した場合、成功率が0%にまで低下した。
• 平行ジョイントグリッパーを装備した7自由度のFrankaアームを用いて、物体軌道の模倣に79.3%の成功率を達成し、非ヒューマノイドなボディ形状への一般化が有効に機能したことが示された。