[論文レビュー] Temporal Difference Variational Auto-Encoder

Karol Gregor, George Papamakarios+3 more|arXiv (Cornell University)|Jun 8, 2018

Reinforcement Learning in Robotics参考文献 44被引用数 14

ひとこと要約

TD-VAE は、時間的に分離された時刻のペアを用いて時系列差分学習目的関数で訓練することで、抽象的で信念に基づく状態表現を学習する生成的シーケンスモデルである。このモデルは、1ステップ遷移を経由せずに長時間スパンの直接的なロールアウトを可能にし、3D シミュレーターや DeepMind Lab などの複雑な環境において、長期予測と不確実性モデリングの向上を達成する。

ABSTRACT

To act and plan in complex environments, we posit that agents should have a mental simulator of the world with three characteristics: (a) it should build an abstract state representing the condition of the world; (b) it should form a belief which represents uncertainty on the world; (c) it should go beyond simple step-by-step simulation, and exhibit temporal abstraction. Motivated by the absence of a model satisfying all these requirements, we propose TD-VAE, a generative sequence model that learns representations containing explicit beliefs about states several steps into the future, and that can be rolled out directly without single-step transitions. TD-VAE is trained on pairs of temporally separated time points, using an analogue of temporal difference learning used in reinforcement learning.

研究の動機と目的

• 部分観測環境における計画を支援するため、時間的抽象化、明示的な信念状態、および抽象的状態表現を備えた生成モデルの開発。
• 標準的な VAE や RNN が長期依存関係や遠い未来の不確実性をモデル化する際の限界を克服すること。
• 中間ステップをすべてバックプロパゲーションせずに、時間的に延長されたデータペアを用いてモデルを訓練すること。
• 環境のタイムステップサイズに依存せずに、潜在表現から将来の状態を直接ロールアウトできること。
• 学習された信念状態が、将来のダイナミクスを予測するなどの下流タスクに十分な情報を含んでいることを実証すること。

提案手法

• 確率的状態空間モデルに対して、フィルタリング事後分布と局所スムージング事後分布を同時に学習する修正された下界（ELBO）を提案。
• 時間的に分離された観測ペアを用いて、時系列差分学習目的関数で訓練し、ジャンプする予測を可能にする。
• 将来の状態に関する不確実性を捉えるために、フィルタリング事後分布の決定的かつ符号化された表現として信念状態 $ b $ を用いる。
• DeepMind Lab などの複雑な環境における視覚シーケンスをモデル化するために、畳み込み LSTM と深層構造（16層）を適用。
• 中間ステップを飛ばして、$ p(z_{t_2} | z_{t_1}) $ から直接 $ z_{t_2} $ をサンプリングすることで、状態空間のロールアウトを可能にする。
• 長距離依存関係の学習を目的に、時間スティル $ t_2 - t_1 $ を $[1,40]$ の範囲で一様にサンプリングする。

実験結果

リサーチクエスチョン

• RQ1 生成モデルは、長期的な時間スパンにわたり、将来の状態に関する不確実性を符号化する抽象的で信念に基づく表現を学習できるか？
• RQ2 時間的に分離されたデータペアで訓練されたモデルは、1ステップ生成を経由せずに直接的ロールアウトに一般化できるか？
• RQ3 TD-VAE が学習した信念状態は、調和振動子の周波数変化などの将来のダイナミクスを予測するのに十分な情報を含んでいるか？
• RQ4 TD-VAE は、標準的な1ステップ予測モデルと比較して、長期依存関係と関係性推論の学習において優れているか？
• RQ5 TD-VAE は、DeepMind Lab などの複雑な3D環境の一貫性のあるジャンプするシミュレータを学習できるか？

主な発見

• TD-VAE は、深層状態空間モデルの標準的手法と比較して、調和振動子タスクにおける尤度が向上した。
• モデルは20ステップ先までの信号の正しい周波数と振幅を正しく予測できたが、100ステップ先ではシステムノイズの影響で位相の正確さが低下した。
• 関係性推論タスクでは、TD-VAE の信念状態を用いたバイナリ分類器が、1ステップ予測器よりも、特に長い時間ギャップや小さなLSTMを用いた場合に、最終周波数 $ f_4 $ をより高い精度で予測できた。
• DeepMind Lab において、信念状態 $ p_B(z|b) $ からの独立したサンプルが類似したフレームにデコードされたため、現在状態の信念表現が一貫していることが示された。
• 同じ信念状態から複数の予測未来を生成したところ、異なるサンプルで異なるフレームが得られたため、モデルが複数の可能な結果に関する不確実性を符号化していることが示された。
• モデルからのロールアウトは、複数のタイムステップを飛ばして前方に進む運動を生成しており、環境のネイティブなタイムステップサイズに依存しない直接的なジャンプするロールアウトを実現していることを示した。