[論文レビュー] Imitation from Observation: Learning to Imitate Behaviors from Raw Video via Context Translation

YuXuan Liu, Abhishek Gupta+2 more|arXiv (Cornell University)|Jul 11, 2017

Reinforcement Learning in Robotics参考文献 43被引用数 35

ひとこと要約

本論文では、視点やエージェントの身体的特徴（エンベッディング）が異なる文脈間で、観察を翻訳するコンテキスト翻訳モデルを用いて、ロボットが生動画のデモから複雑な操作スキルを学習できる、新しい観察からの模倣学習フレームワークを提案する。この手法は、動画予測と深層強化学習を活用して知覚的報酬関数を生成し、エキスパートの行動やキネスティックなデモを必要とせずに、掃除、スプーンで液体をすくう、道具の使用といった現実世界のロボットタスクで高い成功確率を達成する。

ABSTRACT

Imitation learning is an effective approach for autonomous systems to acquire control policies when an explicit reward function is unavailable, using supervision provided as demonstrations from an expert, typically a human operator. However, standard imitation learning methods assume that the agent receives examples of observation-action tuples that could be provided, for instance, to a supervised learning algorithm. This stands in contrast to how humans and animals imitate: we observe another person performing some behavior and then figure out which actions will realize that behavior, compensating for changes in viewpoint, surroundings, object positions and types, and other factors. We term this kind of imitation learning "imitation-from-observation," and propose an imitation learning method based on video prediction with context translation and deep reinforcement learning. This lifts the assumption in imitation learning that the demonstration should consist of observations in the same environment configuration, and enables a variety of interesting applications, including learning robotic skills that involve tool use simply by observing videos of human tool use. Our experimental results show the effectiveness of our approach in learning a wide range of real-world robotic tasks modeled after common household chores from videos of a human demonstrator, including sweeping, ladling almonds, pushing objects as well as a number of tasks in simulation.

研究の動機と目的

• 標準的な模倣学習には、同じ環境設定下での観察-行動ペアへのアクセスを仮定するという制限があることに対処すること。
• エージェント自身の文脈（視点、物体の配置、身体的特徴）とは異なる文脈で撮影された生動画デモから、ロボットが人間の行動を学習できるようにすること。
• 真の行動データやキネスティックなデモを必要とせず、多様な文脈に一般化できる手法を開発すること。
• インターネットから入手可能な動画からも模倣を可能にするために、エキスパートの行動をエージェントの視点にマッピングするコンテキスト翻訳モデルを学習すること。
• 翻訳された動画シーケンスから得られる報酬関数を用いて強化学習でポリシーを訓練し、新しい環境へのゼロショット適応を可能にすること。

提案手法

• ソース文脈（例：人間の3人称視点）からの観察シーケンスを、ターゲット文脈（例：ロボットの1人称視点）に変換するコンテキスト翻訳モデルを訓練する。
• 翻訳された観察シーケンスに基づいて、ターゲット文脈での将来のフレームを動画予測により生成し、知覚的報酬信号を形成する。
• 翻訳された観察シーケンスを深層強化学習パイプライン（例：ガイドドポリシー探索）に統合し、予測されたエキスパート行動を追跡する行動を最適化する。
• 深層ニューラルネットワークを用いて、行動と文脈を分離した表現を学習し、ゼロショット一般化を可能にする。
• 複数の文脈からのペairedデモを用いて翻訳モデルを訓練し、推論時に未観測の文脈に対しても一般化できるようにする。
• 予測されたシーケンスを強化学習におけるコスト関数として使用し、真の行動データにアクセスできない状況下でも、行動を模倣可能にする。

実験結果

リサーチクエスチョン

• RQ1 デモの文脈（視点、物体の配置、エージェントの身体的特徴）が自らのものと異なる場合でも、ロボットが生動画デモから複雑な行動を模倣できるか？
• RQ2 コンテキスト翻訳モデルは、人間のデモレーターの視点からロボットの視点への視覚的特徴を効果的に転送でき、行動の模倣を可能にするか？
• RQ3 事前学習済みの視覚特徴や関節角に基づく報酬関数を用いるベースライン手法と比較して、本手法は一般化性能と成功確率において優れているか？
• RQ4 本手法は、粒状材料や道具との動的相互作用を伴う現実世界のタスクにどの程度一般化できるか？
• RQ5 エキスパートの行動アノテーションや人間によるフィードバックを必要とせず、インターネットから入手した動画からの模倣が可能か？

主な発見

• アーモンドをなでるタスクで66％の成功確率を達成し、事前学習済みの視覚特徴や関節角に基づく報酬関数を用いるベースライン手法を顕著に上回った。
• アーモンドを掃除するタスクでは、事前学習済み特徴ベースラインとキネスティックデモベースラインの両方を上回る成功確率を達成し、複雑な視覚的ダイナミクスに対しても頑健であることを示した。
• 丸められた紙を掃除するタスクでは、事前学習済み視覚特徴ベースラインが失敗したのに対し、本手法は成功した。これは、学習された翻訳ベースの報酬関数の優位性を示している。
• ロボットの視点や身体的特徴がデモレーターと異なる状況下でも、生動画から道具の使用行動（押す、なでる、すくう）を効果的に学習できた。
• 追加のデモやファインチューニングを必要とせず、未観測の文脈に対しても一般化でき、強力なゼロショット転送能力を示した。
• コンテキスト翻訳の活用により、固定の視覚特徴やキネスティック指導に依存する手法よりも優れた性能を発揮する、現実世界のロボットシステムにおける有効なポリシー学習が可能になった。