[論文レビュー] World Models

David Ha, Jürgen Schmidhuber|arXiv (Cornell University)|Mar 27, 2018

Reinforcement Learning in Robotics参考文献 40被引用数 179

ひとこと要約

この論文は大規模RNNベースの世界モデル（VAE + MDN-RNN）を提示し、観測を圧縮して将来の潜在状態を予測することで、小さなコントローラがタスクを実行できるようにする。学習したドリーム内での訓練や、ポリシーを実環境へ転移することを含む。

ABSTRACT

We explore building generative neural network models of popular reinforcement learning environments. Our <em>world model</em> can be trained quickly in an unsupervised manner to learn a compressed spatial and temporal representation of the environment. By using features extracted from the world model as inputs to an agent, we can train a very compact and simple policy that can solve the required task. We can even train our agent entirely inside of its own hallucinated dream generated by its world model, and transfer this policy back into the actual environment. An interactive version of this article is available at worldmodels.github.io.

研究の動機と目的

• 人間の認知予測メカニズムにインスパイアされた予測世界モデルの動機づけと構築。
• 大規模な教師なし世界モデルが raws観測から空間-時間表現を圧縮し予測できることを示す。
• 世界モデルの特徴量を用いてごく小さなコントローラがタスクを解くことができることを示す。
• ハルシネーション環境内でのポリシー訓練と、それを実環境へ転移することを探る。
• 反復的な訓練と、より複雑な環境のための好奇心主導の強化を含む潜在的改良を議論する。

提案手法

• 各フレームを潜在ベクトル z に圧縮するために Variational Autoencoder (VAE) を使用する。
• RNN を用いた Mixture Density Network (MDN) で P(z_{t+1} | a_t, z_t, h_t) の分布をガウス混合としてモデル化する。
• [z_t, h_t] から行動へ写像する最小限の線形コントローラ C を実装し、CMA-ES 最適化のために C を軽量に保つ。
• ランダムロールアウトから収集したデータ上で V および MDN-RNN を個別訓練し、その後 CMA-ES を用いて C を最適化する。
• 任意で夢のような世界 M が生成する世界でコントローラを動作させたり、夢で学んだポリシーを現実環境へ転移させたりする。
• 反復的訓練、好奇心機構、およびモデルの不完全性に対するロバスト性を議論する。

Figure 1: A World Model, from Scott McCloud’s Understanding Comics. (McCloud, 1993 ; E, 2012 )

実験結果

リサーチクエスチョン

• RQ1 高次元の観測から大規模な教師なし世界モデルはコンパクトな空間-時間表現を学べるか。
• RQ2 単純なコントローラは世界モデルの特徴を活用して制御タスクを解ける程度か。
• RQ3 学習済みのドリーム内でポリシーを訓練し、それを実環境へ転移できるか。
• RQ4 MDN-RNN による不確実性を組み込むことは、ポリシー学習と転移にどのように影響するか。
• RQ5 動力学モデルが不完全な場合、モデルベースのポリシーの脆弱性は何で、それをどう緩和できるか。

主な発見

Model	Avg Score
DQN (Prieur, 2017)	343 ± 18
A3C (continuous) (Jang et al., 2017)	591 ± 45
A3C (discrete) (Khan & Elibol, 2016)	652 ± 10
ceobillionaire (Gym Leaderboard)	838 ± 11
V model	632 ± 251
V model with hidden layer	788 ± 141
Full World Model	906 ± 21

• V モデルと MDN-RNN は、CarRacing-v0 で強力な性能を達成するコンパクトなコントローラを実現し、いくつかの既存手法を上回った。
• 完全な世界モデル（V + M）を用いると、V のみ、または単純なコントローラを用いた場合よりも平均スコアが高い。
• CarRacing-v0 では、Full World Model が 906 ± 21 を達成し、DQN、A3C 系、以前のリーダーボード結果を上回っている。
• 夢環境（VizDoom Take Cover）内での訓練は、現実の VizDoom 環境へ転移するポリシーを生み出し、生存時間の顕著な改善をもたらす。
• MDN-RNN の温度 τ を調整すると、夢の難易度と転移性が変化し、現実性と活用性のバランスが取れる。
• 世界モデルの潜在的悪用の可能性と、そのような問題を緩和するための不確実性の必要性について議論している。

Figure 2: What we see is based on our brain’s prediction of the future (Kitaoka, 2002 ; Watanabe et al., 2018 ) .