[論文レビュー] Learning by Watching: Physical Imitation of Manipulation Skills from Human Videos

Haoyu Xiong, Quanzhou Li+4 more|arXiv (Cornell University)|Jan 18, 2021

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、教師なしの人間からロボットへの画像変換とキーポイント検出を用いて、人間の動画を模倣することで操作スキルを学習する、Learning by Watching (LbW) というフレームワークを提案する。翻訳されたロボット動画から意味的なキーポイントに基づく表現を生成することで、LbW はたった1つの人間のデモのみを用いても、5つの操作タスクで最先端の性能を達成する。

ABSTRACT

Learning from visual data opens the potential to accrue a large range of manipulation behaviors by leveraging human demonstrations without specifying each of them mathematically, but rather through natural task specification. In this paper, we present Learning by Watching (LbW), an algorithmic framework for policy learning through imitation from a single video specifying the task. The key insights of our method are two-fold. First, since the human arms may not have the same morphology as robot arms, our framework learns unsupervised human to robot translation to overcome the morphology mismatch issue. Second, to capture the details in salient regions that are crucial for learning state representations, our model performs unsupervised keypoint detection on the translated robot videos. The detected keypoints form a structured representation that contains semantically meaningful information and can be used directly for computing reward and policy learning. We evaluate the effectiveness of our LbW framework on five robot manipulation tasks, including reaching, pushing, sliding, coffee making, and drawer closing. Extensive experimental evaluations demonstrate that our method performs favorably against the state-of-the-art approaches.

研究の動機と目的

• エキスパートの行動アノテーションが不要な状態で、1つの人間の動画から物理的な模倣による操作スキルの習得を可能にすること。
• 人間とロボットアームの形状的不一致を解消するために、教師なしの人間からロボットへの画像変換を学習すること。
• 翻訳されたロボット動画フレーム内の意味的に重要なキーポイントを検出することで、状態表現学習の性能を向上させること。
• エージェントのキーポイント軌跡と翻訳されたデモのキーポイント軌跡のL2距離に基づいた報酬関数を設計し、強化学習による効果的なポリシー学習を可能にすること。
• 1つの人間デモのみを用いて、多様な操作タスクにわたる一般化性と頑健性を実証すること。

提案手法

• 人間のデモ動画をロボットドメインに似た動画に変換する教師なしの画像対画像変換モデル（例：CycleGAN）を活用し、ドメインギャップを最小限に抑える。
• 翻訳されたロボット動画フレームに対して教師なしキーポイント検出を実行し、構造的で意味的に重要な表現を抽出する。
• 検出されたキーポイントを、従来の画像ベースの特徴量に代わる状態表現として、後続のポリシー学習に使用する。
• エージェントのキーポイント軌跡と翻訳されたデモのキーポイント軌跡のL2距離に基づいた報酬関数を設計する。
• キーポイントベースの報酬信号を用いて、サンプル効率の高いオフポリシー強化学習アルゴリズムSAC+AEでポリシーを訓練する。
• 認識とポリシー学習を分離する：認識は対応のない人間とロボットの動画で訓練され、ポリシーは1つの人間の動画でのみ訓練される。

Figure 1 : LbW. Given a single human video, our LbW framework learns human to robot translation followed by unsupervised keypoint detection. The resulting keypoint-based representations are semantically meaningful and can be used to guide the robot to learn manipulation skills through physical imita

実験結果

リサーチクエスチョン

• RQ1 エキスパートの行動シーケンスにアクセスできない状況でも、ロボットは1つの人間の動画から複雑な操作スキルを学習できるか？
• RQ2 教師なしの画像変換とキーポイント検出が、人間とロボットの視覚ドメイン間のギャップをどのように同時に低減できるか？
• RQ3 キーポイントベースの状態表現は、従来の画像ベースの特徴量よりも、動画からの模倣学習において優れているか？
• RQ4 提案されたフレームワークは、最小限の教師信号で多様な操作タスクに一般化できるか？
• RQ5 画像対画像変換における視覚的アーティファクトが、後続のポリシー性能に与える影響は何か？ そして、それらをどのように軽減できるか？

主な発見

• LbW は到達および押し出しタスクで100%の成功率を達成し、AVID-m や分類器報酬ベースラインを上回っている。
• より複雑なスライディング、コーヒーメーキング、ドアの閉じるタスクにおいても、LbW はAVID-m や分類器報酬法よりも高い成功率を達成し、優れた一般化性能を示している。
• 視覚的分析により、AVID-m の画像変換は顕著なアーティファクト（例：物体の欠落、ポーズの不一致）を生じており、ポリシー性能の低下を引き起こしていることが確認された。
• キーポイントベースの表現は、翻訳された画像からの直接的な特徴抽出に比べ、より頑健で意味的に明確な状態符号化を可能にしている。
• LbW は1つの人間デモのみを用いて最先端の性能を達成しているのに対し、AVID-m は15本、分類器報酬法は35本のエキスパート動画を必要としている。
• このフレームワークは、OpenAI Gym と Meta-World の2つの異なるシミュレーション環境で優れた性能を示しており、広範な適用可能性を示している。

Figure 2 : Overview of the proposed LbW. Our LbW framework is composed of three main components: an image-to-image translation network $T$ , a keypoint detector $\Psi$ , and a policy network $\pi$ . The image-to-image translation network translates the input human demonstration video frame by frame