[論文レビュー] Playing hard exploration games by watching YouTube

Yusuf Aytar, Tobias Pfaff+4 more|arXiv (Cornell University)|May 29, 2018

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文は、報酬信号や行動のトレースが入手不可な状況下で、アノテーションのないノイズの多いYouTube動画を視聴するだけで、深層強化学習エージェントが難易度の高い探索課題であるAtariゲーム（モンテズマの復讐、ピットファール、プライベートアイ）を習得できる自己教師付き手法を提案する。時間的およびクロスモーダルな対照的学習を通じてドメイン不変な動画表現を学習することで、1つの埋め込み済みYouTubeクリップから模倣報酬を生成し、報酬信号が存在しない状況でも人間水準のパフォーマンスを達成した。

ABSTRACT

Deep reinforcement learning methods traditionally struggle with tasks where environment rewards are particularly sparse. One successful method of guiding exploration in these domains is to imitate trajectories provided by a human demonstrator. However, these demonstrations are typically collected under artificial conditions, i.e. with access to the agent's exact environment setup and the demonstrator's action and reward trajectories. Here we propose a two-stage method that overcomes these limitations by relying on noisy, unaligned footage without access to such data. First, we learn to map unaligned videos from multiple sources to a common representation using self-supervised objectives constructed over both time and modality (i.e. vision and sound). Second, we embed a single YouTube video in this representation to construct a reward function that encourages an agent to imitate human gameplay. This method of one-shot imitation allows our agent to convincingly exceed human-level performance on the infamously hard exploration games Montezuma's Revenge, Pitfall! and Private Eye for the first time, even if the agent is not presented with any environment rewards.

研究の動機と目的

• 報酬信号が存在しない環境で、報酬が疎で、行動空間が指数関数的に増大する困難な探索課題を解ける強化学習エージェントを実現すること。
• エージェントの観測と、アノテーションのないノイズの多いYouTubeゲームプレイ動画との間のドメインギャップを克服すること。通常、模倣学習を阻害する要因となる。
• フレームレベルのアノテーションや行動・報酬のラベルなしに、多様な動画デモンストレーションを対応付ける自己教師付き表現学習手法を開発すること。
• 1つのYouTube動画からワンショットで模倣を可能にするために、人間のゲームプレイ軌道を模倣するよう促進する報酬関数を構築すること。
• 環境報酬に依存せず、モンテズマの復讐、ピットファール、プライベートアイといった極めて困難なAtariゲームで、人間水準またはそれ以上のパフォーマンスを達成すること。

提案手法

• 本手法は、時間的対照的学習（TDC）とクロスモーダル対照的学習（CMC）の2つの目的を用いて、複数のアノテーションのないYouTube動画間で共通の動画表現を学ぶ自己教師付き対照的学習フレームワークを採用する。
• TDCは、同じ動画内で時間的に近いクリップどうしを対応付ける。CMCは、異なる動画の視覚的および音声的クリップを、同じゲームプレイの瞬間に一致するように対応付ける。
• 得られた共有埋め込み空間により、真値アノテーションが不要なサイクル整合性評価が可能となり、対応付けの質を評価できる。
• 1つのYouTube動画がこの空間に埋め込まれ、その結果として探索のチェックポイントの系列が生成され、エージェントの補助的模倣報酬の定義に用いられる。
• エージェントは、この模倣報酬を標準的な強化学習（IMPALA）と組み合わせて使用し、環境報酬が存在しない状況でも探索を効果的にガイドできる。
• 本手法は、デモンストレーターの行動シーケンスや報酬の履歴にアクセスする必要がなく、実世界の整備されていない動画データに対しても適用可能である。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き表現学習により、アノテーションのないノイズの多いYouTube動画が、意味的な時間的・クロスモーダル構造を捉える共有空間に適切に統合されるか？
• RQ2 1つの埋め込み済みYouTube動画から、環境報酬が存在しない状況でもエージェントが困難な探索ゲームを解ける信頼性の高い模倣報酬を生成できるか？
• RQ3 解像度、色、アスペクト比、視覚的アーチファクトの違いといった顕著なドメインギャップが存在する場合でも、本手法は一般化可能か？
• RQ4 環境報酬やエキスパートの行動シーケンスに依存せず、YouTube動画のみでモンテズマの復讐、ピットファール、プライベートアイで人間水準またはそれ以上のパフォーマンスを達成できるか？
• RQ5 高域シフトやアライメント欠如を伴うエキスパート動画の変化に対しても、パフォーマンスが安定しているか？

主な発見

• 提案手法はモンテズマの復讐で37,232.7点を達成し、平均人間スコアの4,743.0点とDQfDによる前回SOTAの4,659.7点を上回った。
• ピットファールでは54,912.4点を記録し、平均人間スコアの6,464.0点とDQfDによる前回SOTAの57.3点を上回った。
• プライベートアイでは98,212.5点を達成し、平均人間スコアの69,571.0点とDQfDによる前回SOTAの42,457.2点を上回った。
• 環境報酬信号が存在しない状況でも、模倣報酬のみで学習したエージェントが、3つのゲームすべてで超人間水準のパフォーマンスを達成した。
• 高域シフトを伴うさまざまなエキスパート動画に対してもパフォーマンスが安定しており、本手法の一般化能力が裏付けられた。
• TDCとCMCの自己教師付き目的の組み合わせにより、アライメントのないYouTube動画の有効な対応付けが可能となり、複雑な環境におけるワンショット模倣学習の基盤が構築された。