[論文レビュー] Beating Atari with Natural Language Guided Reinforcement Learning

Russell Kaplan, Christopher Sauer+1 more|arXiv (Cornell University)|Apr 18, 2017

Reinforcement Learning in Robotics参考文献 10被引用数 34

ひとこと要約

本論文では、自然言語の指示を追加の監視信号として用いることで、アタリゲームに勝つことを学ぶ深層強化学習エージェントを紹介する。ゲームフレームとテキストの間のマルチモーダル埋め込みを学習することで、エージェントは英語のコマンドのリストを通じて自己監視を行い、それらの完了に対して追加報酬を得る。その結果、モンテズマのレインボーウェイで3500点を記録し、DQN、A3C、および最良のOpenAI Gymエージェントを上回った。

ABSTRACT

We introduce the first deep reinforcement learning agent that learns to beat Atari games with the aid of natural language instructions. The agent uses a multimodal embedding between environment observations and natural language to self-monitor progress through a list of English instructions, granting itself reward for completing instructions in addition to increasing the game score. Our agent significantly outperforms Deep Q-Networks (DQNs), Asynchronous Advantage Actor-Critic (A3C) agents, and the best agents posted to OpenAI Gym on what is often considered the hardest Atari 2600 environment: Montezuma's Revenge.

研究の動機と目的

• アタリゲームのような状態を持つ環境において、強化学習エージェントが高レベルの自然言語指示から学習できるようにすること。
• DQN、A3C、および最良のOpenAI Gymエージェントを上回る。
• エージェントが自然言語コマンドのシーケンスを通じて進行状況を追跡する自己監視メカニズムを開発すること。
• 言語誘導型報酬設計が、複雑で報酬が疎である環境におけるサンプル効率と最終的パフォーマンスを向上させることを実証すること。
• 視覚と言語の間のマルチモーダル埋め込みを用いて、人間のような指示従いの可能性を検討すること。

提案手法

• エージェントは、視覚的観測（ゲームフレーム）と自然言語指示の間の一致を学習するマルチモーダル埋め込みモデルを用い、共有のベクトル空間を学習する。
• 言語指示の完了は、フレーム埋め込みとコマンド埋め込みの間のコサイン類似度（ドット積）を計算することで検出される。正の値が得られれば完了と判断される。
• 完了が検出されると、エージェントは追加の内部報酬を受け取り、リストの次の指示に進む。
• エージェントの方策ネットワークは、ゲームスコアと言語ベースの完了報酬を組み合わせた監視信号を用いて強化学習で訓練される。
• マルチモーダル埋め込みは、ゲームのダイナミクスと人間が提供した記述に基づいて生成された合成データセット上で事前学習される。
• 本手法は、言語監視を標準的な強化学習ループに統合し、報酬が疎な環境における探索と責任帰属の両方を強化する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、自然言語の指示のみを追加のガイドとして用いて、アタリゲームに勝つことができるか？
• RQ2 言語誘導型報酬設計は、モンテズマのレインボーウェイのような報酬が疎な環境において、学習効率と最終的パフォーマンスを向上させるか？
• RQ3 訓練データに存在しない未確認のゲーム状態においても、エージェントは言語指示を正しく実行できるか？
• RQ4 サンプル効率と最終的パフォーマンスの観点から、言語誘導学習は内部的好奇心やその他の補助報酬手法と比べてどのように差がつくか？
• RQ5 言語監視は、環境の完全な仕様が与えられていない状況でも、複雑で階層的なタスクを学習可能にする程度はどの程度か？

主な発見

• 提案されたエージェントは、6000万フレームの学習後、モンテズマのレインボーウェイで最終スコア3500を記録し、最良のOpenAI Gymエージェント（2500点）と標準A3C（0点）を大きく上回った。
• 1000万フレーム経過後、エージェントは500点を記録したが、DQNは0.0点、A3Cは0.1点にとどまり、かつては到達不可能とされた環境でも強力な学習を示した。
• 訓練データに含まれない未確認のゲーム状態においても、エージェントは自然言語指示を正しく完了した。これは、訓練例の記憶を超えた一般化能力を示している。
• マルチモーダル埋め込みにより、ドット積類似度を用いた信頼性の高い指示完了検出が可能となり、自己監視メカニズムの基盤が構築された。
• エージェントのパフォーマンスは、内部動機づけベースのエージェントが報告した最高の6600点をも上回ったが、学習フレーム数は少ない（10000万 vs. 6000万）。
• 本手法は、低レベルの報酬設計やプログラム的報酬よりも自然で汎用性の高い、スケーラブルで人間が理解可能な監視形態を提供する。