[論文レビュー] Recurrent Environment Simulators

Silvia Chiappa, Sébastien Racanière+2 more|arXiv (Cornell University)|Apr 7, 2017

Reinforcement Learning in Robotics参考文献 19被引用数 105

ひとこと要約

この論文は高次元観測から長期的なダイナミクスを予測する再発環境シミュレータを提示し、行動条件付き状態遷移を導入し、多様なドメインで短期と長期の精度をバランスさせる訓練スキームを分析します。 また、効率性を向上させる予測非依存のバリアントを導入し、モデルベースの探索への適用を実証します。

ABSTRACT

Models that can simulate how environments change in response to actions can be used by agents to plan and act efficiently. We improve on previous environment simulators from high-dimensional pixel observations by introducing recurrent neural networks that are able to make temporally and spatially coherent predictions for hundreds of time-steps into the future. We present an in-depth analysis of the factors affecting performance, providing the most extensive attempt to advance the understanding of the properties of these models. We address the issue of computationally inefficiency with a model that does not need to generate a high-dimensional image at each time-step. We show that our approach can be used to improve exploration and is adaptable to many diverse environments, namely 10 Atari games, a 3D car racing environment, and complex 3D mazes.

研究の動機と目的

• 計画と計画ベースの探索のために、時空間的に一貫した正確な環境モデルの必要性を動機づける。
• 高次元の知覚入力上で動作する再帰的で行動条件付きのシミュレータを開発する。
• 訓練スキーム（予測依存の遷移 vs 観測依存の遷移）が短期・長期の精度に与える影響を体系的に分析する。
• 長期予測が関心対象となる場合の計算コストを削減する予測非依存のバリアントを導入する。
• 多様な環境でこのアプローチを実証し、モデルベース探索への影響を検討する。

提案手法

• Oh et al. (2015) の再帰的シミュレータを、行動を直接状態遷移に組み込む行動条件付きバックボーンで拡張する。
• 予測依存の遷移フレームワークと、マルチステップ予測中の高次元生成の高コストを回避する任意の予測非依存バリアントを導入する。
• 観測処理のため、LSTMベースのバックボーンと畳み込みエンコーダ/デコーダを用いて状態更新を形式化する。
• Atari 2600 ゲーム、ランダムに生成された3D迷路、TORCS カー レースを用いて、数百ステップにわたる時間的一貫性と空間的一貫性を評価する。
• ウォームアップ長、予測ホライズン、予測依存遷移（PDT）の割合を変化させる訓練スキームを体系的に評価し、長期と短期の精度を研究する。
• 必要に応じて長いホライズンを扱うため、時間的に切り詰めた誤差逆伝播法を利用する。

実験結果

リサーチクエスチョン

• RQ1 高次元入力から長期的なホライズンで時間的・空間的に一貫した予測を、行動条件付きの再帰モデルはどのようにして生み出せるか。
• RQ2 さまざまな訓練スキーム（予測依存 vs 観測依存の遷移）が短期および長期の予測精度に与える影響は何か。
• RQ3 行動を直接状態遷移に組み込むことは、環境ダイナミクスのモデリングを改善するか。
• RQ4 予測非依存のバリアントは、計算コストを削減しつつ有用な予測性能を維持できるか。
• RQ5 これらのシミュレータは、Atari、3D迷路、TORCS などの多様な環境でモデルベース探索をどれだけ支援できるか。

主な発見

• 予測依存遷移は、特に複雑な環境において長期的な精度を改善するが、短期のシャープさを犠牲にする。
• 観測依存遷移だけでは、ほとんどのゲームで長期的な性能が乏しい。非常に複雑な設定では、戦略の混合が好ましい場合がある。
• 予測ホライズンを高くすると（長い T）、PDT スキームが使われている場合には長期的な精度が向上するが、短期の品質は低下する可能性がある。
• 時間を通じた誤差逆伝播は、長期ホライズンを管理するために切り詰めることができ、マルチサブシーケンス方式は時には長期的な精度を高める。
• 予測非依存のバリアントは、多くのステップ先を予測する場合に、各ステップでの高次元画像生成を回避することで計算を劇的に削減できる。
• よりリッチな長期的精度で訓練されたモデルは、対話的シミュレーションで人間のプレイへ一般化できるが、訓練中に見られていないポリシーにはより敏感である可能性がある。