[論文レビュー] Learning to Act by Predicting the Future

Alexey Dosovitskiy, Vladlen Koltun|arXiv (Cornell University)|Nov 6, 2016

Reinforcement Learning in Robotics被引用数 65

ひとこと要約

本論文では、時間的構造に基づく内生的教師信号を用いて、生の視覚入力と現在の状態から将来の測定値（例：ヒットポイント、弾薬、キル数）を予測するように訓練する教師あり学習アプローチを提案する。この方法により、3次元環境におけるセンサーモータ制御が実現され、深層強化学習のベースラインを上回り、未確認の目標に対して一般化可能であり、Visual Doom AI コンペティションのフルデスティマッチトラックで50%以上優れた成績を収めた。

ABSTRACT

We present an approach to sensorimotor control in immersive environments. Our approach utilizes a high-dimensional sensory stream and a lower-dimensional measurement stream. The cotemporal structure of these streams provides a rich supervisory signal, which enables training a sensorimotor control model by interacting with the environment. The model is trained using supervised learning techniques, but without extraneous supervision. It learns to act based on raw sensory input from a complex three-dimensional environment. The presented formulation enables learning without a fixed goal at training time, and pursuing dynamically changing goals at test time. We conduct extensive experiments in three-dimensional simulations based on the classical first-person game Doom. The results demonstrate that the presented approach outperforms sophisticated prior formulations, particularly on challenging tasks. The results also show that trained models successfully generalize across environments and goals. A model trained using the presented approach won the Full Deathmatch track of the Visual Doom AI Competition, which was held in previously unseen environments.

研究の動機と目的

• 生の感覚入力からの複雑な3次元環境におけるセンサーモータ制御の学習を、外部の教師信号を一切用いずに実現すること。
• テスト時に固定された目標が存在しない状況でも、動的かつ柔軟に目標を追求できる学習フレームワークを提供すること。
• スパarsなスカラーレイドに代えて、密で多次元の測定フィードバックを活用することで、学習の安定性と性能を向上させること。
• 没入型3次元シミュレーションにおいて、多様な目標や環境に対して一般化できる能力を実証すること。
• 豊かな環境における連続的制御のための、スケーラブルな教師あり学習ベースの強化学習の代替手法を開発すること。

提案手法

• モデルは、現在の感覚入力と状態に基づき、複数の将来時刻における測定値（例：ヒットポイント、弾薬、キル数）を予測するように訓練される。
• 感覚ストリームは高次元の生の入力（例：RGBフレーム）で構成され、測定ストリームは低次元で状態に関連する情報である。
• 相互作用中に生じる感覚ストリームと測定ストリームの同時的構造が教師信号を提供し、外部報酬の必要性を排除する。
• モデルは深層ニューラルネットワークを用いて、現在の観測から複数の時間スケールにわたる将来の測定値を予測する。
• テスト時、エージェントは予測された将来の測定値が現在の目標と最も整合するような行動を選択する。
• 本手法は、人間のプレイデータや追加の教師信号なしに、Visual Doom AI コンペティションのベンチマークを用いてDoom環境で評価された。

実験結果

リサーチクエスチョン

• RQ1 将来の測定値予測に特化した教師あり学習モデルは、報酬形状の明示的設計なしに、複雑な3次元制御タスクで高い性能を達成できるか？
• RQ2 スカラーレイドに代えて、複数の測定値を複数の将来時刻にわたり予測することで、学習の安定性と性能が向上するか？
• RQ3 学習時に最終目標の知識を持たないモデルが、テスト時に動的に指定された目標に対して効果的に一般化できるか？
• RQ4 没入型3次元環境において、本モデルの性能は最先端の深層強化学習手法を上回るか？
• RQ5 多次元的かつ時間的に密なフィードバックを用いることで、環境や目標の多様性に対して一般化性能がどの程度向上するか？

主な発見

• 本モデルは、より単純なアーキテクチャを用い、人間のプレイデータも一切使用しなかったにもかかわらず、Visual Doom AI コンペティションのフルデスティマッチトラックで2番目に良い提出結果を50%以上上回った。
• 学習時に目標の知識を持たないモデルが、目的に特化して訓練されたモデルの92.3%の性能を達成した。これは、優れた一般化能力を示している。
• 多様な目標で訓練されたモデルは、単一の固定目標での訓練よりも、新しいテスト時の目標に対して顕著に優れた一般化性能を示した。
• 3つの測定値（弾薬、ヒットポイント、キル数）を6つの将来時刻にわたり予測した場合が最良の性能を示し、アブレーション実験からベクトル形式のフィードバックがスカラーレイドを上回ることを確認した。
• すべての測定値をすべてのオフセットで予測した場合、D3-txシナリオで平均22.6キルを達成したが、1つのオフセットでのみキル数を予測した場合ではわずか5.0にとどまった。
• 本モデルは、以前に観測されていなかった環境や目標に対しても効果的に一般化でき、複雑な3次元環境において強靭で転送可能な性能を示した。