[論文レビュー] Unsupervised Perceptual Rewards for Imitation Learning

Pierre Sermanet, Kelvin Xu+1 more|arXiv (Cornell University)|Dec 20, 2016

Reinforcement Learning in Robotics参考文献 25被引用数 5

ひとこと要約

本論文では、事前学習済みの深層視覚特徴を活用することで、わずかな人間のデモ動画から教師なしで密な知覚的報酬関数を学習する手法を提案する。この手法は、教師なしで中間的な部分目標と判別性の高い視覚的特徴を自動で発見でき、実ロボットが人間のポーズ付き動画デモのみを用いて、ドアを開けるような複雑な操作スキルを成功裏に学習可能であり、真値報酬信号と同等の性能を達成する。

ABSTRACT

Reward function design and exploration time are arguably the biggest obstacles to the deployment of reinforcement learning (RL) agents in the real world. In many real-world tasks, designing a reward function takes considerable hand engineering and often requires additional sensors to be installed just to measure whether the task has been executed successfully. Furthermore, many interesting tasks consist of multiple implicit intermediate steps that must be executed in sequence. Even when the final outcome can be measured, it does not necessarily provide feedback on these intermediate steps. To address these issues, we propose leveraging the abstraction power of intermediate visual representations learned by deep models to quickly infer perceptual reward functions from small numbers of demonstrations. We present a method that is able to identify key intermediate steps of a task from only a handful of demonstration sequences, and automatically identify the most discriminative features for identifying these steps. This method makes use of the features in a pre-trained deep model, but does not require any explicit specification of sub-goals. The resulting reward functions can then be used by an RL agent to learn to perform the task in real-world settings. To evaluate the learned reward, we present qualitative results on two real-world tasks and a quantitative evaluation against a human-designed reward function. We also show that our method can be used to learn a real-world door opening skill using a real robot, even when the demonstration used for reward learning is provided by a human using their own hand. To our knowledge, these are the first results showing that complex robotic manipulation skills can be learned directly and without supervised labels from a video of a human performing the task. Supplementary material and data are available at https://sermanet.github.io/rewards

研究の動機と目的

• 現実世界の強化学習における疎で手作業で設計された報酬関数の課題に対処すること。
• 明示的な部分目標のラベルなしに、最小限の人のデモから模倣学習を可能にすること。
• 動画デモから教師なしで中間的な部分目標と判別性の高い視覚的特徴を自動で発見すること。
• 人間のデモから得られる知覚的報酬のみを用いて、現実世界のロボット方策学習を可能にすること。
• 事前学習済みの視覚特徴が、未学習のシーンやロボットの身体的形状に対しても十分に一般化できることを示すこと。

提案手法

• デモ動画から中程度および高レベルの視覚的特徴を抽出するために、事前学習済みの深層ニューラルネットワーク（例：Inception）を用いる。
• クラスタリングまたはセグメンテーションを適用して、デモシーケンス内の重要な中間段階を同定する。
• 各中間段階を区別できるように、視覚的特徴の上に分類器を訓練し、全動画にわたって識別性を最大化する。
• 各段階固有の分類器を統合して、1つの滑らかで密な報酬関数に統合する。
• 得られた知覚的報酬関数を強化学習アルゴリズム（例：PI2）に組み込み、実ロボットの学習を実行する。
• 運動学的デモ、状態センサ、明示的な部分目標ラベルを一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 部分目標のラベルなしに、わずかな人間のデモ動画から直接知覚的報酬関数を学習できるか？
• RQ2 事前学習済みの視覚特徴は、再訓練なしに、新しいシーンにおける部分目標やゴールを十分に表現できるか？
• RQ3 発見された中間段階と報酬関数は、実ロボットがドアを開けるような複雑な操作タスクを学習可能か？
• RQ4 インストルメンテッドセンサで得た真値報酬信号と比較して、教師なしの知覚的報酬の性能はどの程度か？
• RQ5 物体の外観やデモスタイルの変化（例：人間 vs. ロボット、異なるドア）に対しても、この手法は一般化可能か？

主な発見

• 本手法は、真値報酬や運動学的データなしに、わずかな人間のデモ動画から知覚的報酬関数を成功裏に学習し、実ロボットがドアを開けるタスクを学習可能であった。
• ロボットの成功確率は、ドアハンドルにIMUセンサを装着して得た真値報酬信号を用いたPI2ベースラインと同等の水準に達した。
• 訓練時に見なかった色（白、黒、青）や向きの異なるドアに対しても、報酬関数は一般化した。
• 人間のデモから、ロボットの身体的形状がデモーターとは異なる場合でも、4〜5つの中間部分目標を自動で発見できた。
• 学習した報酬関数は、効果的な方策学習を可能にし、訓練初期段階で高報酬の軌道が早期に発見されたことから、良好な信号品質を示した。
• わずかなデモ数のみで、視覚的変動に強く、未学習のシーンへの一般化も示した。