[論文レビュー] $\gamma$-Models: Generative Temporal Difference Learning for Infinite-Horizon Prediction

Michael Jänner, Igor Mordatch+1 more|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks参考文献 43被引用数 5

ひとこと要約

本稿では、無限時間枠の環境ダイナミクスを連続的で確率的な後続表現としてモデル化する生成的時刻差分学習フレームワークであるγ-モデルを提案する。生成的再解釈に基づくTD学習による訓練により、モデルフリーとモデルベースの制御を統合し、タスク固有の報酬に依存せずに正確な長期予測と価値推定を可能にする。実証的検証として、GANおよび正規化フローの実装が行われた。

ABSTRACT

We introduce the $\gamma$-model, a predictive model of environment dynamics with an infinite probabilistic horizon. Replacing standard single-step models with $\gamma$-models leads to generalizations of the procedures central to model-based control, including the model rollout and model-based value estimation. The $\gamma$-model, trained with a generative reinterpretation of temporal difference learning, is a natural continuous analogue of the successor representation and a hybrid between model-free and model-based mechanisms. Like a value function, it contains information about the long-term future; like a standard predictive model, it is independent of task reward. We instantiate the $\gamma$-model as both a generative adversarial network and normalizing flow, discuss how its training reflects an inescapable tradeoff between training-time and testing-time compounding errors, and empirically investigate its utility for prediction and control.

研究の動機と目的

• 有限時間枠の近似に依存せずに、長期計画を可能にする無限確率的時間枠における環境ダイナミクスの予測モデルを開発すること。
• 単一ステップモデルに置き換えることで、モデルロールアウトや価値推定などのモデルベース制御手順を一般化すること。
• 価値関数の長期的予測能力を保持するとともに、標準的モデルのタスクに依存しない予測的性質を維持するハイブリッドメカニズムを構築すること。
• 階層的予測における訓練時と推論時の誤差蓄積のトレードオフを反映する訓練手順を形式化すること。
• GANや正規化フローなどの深層生成的アーキテクチャを用いて、予測および制御タスクにおけるγ-モデルの実証的検証を行うこと。

提案手法

• γ-モデルは、時刻差分学習の生成的再解釈を用いて訓練され、無限時間枠における将来状態の期待割引和を予測するように学習する。
• これは、即時の報酬に依存しない長期的状態訪問パターンを符号化する、後続表現の連続的アナログである。
• モデルは生成的対抗ネットワーク（GAN）および正規化フローとして実装され、将来状態分布の柔軟かつ微分可能な密度推定を可能にする。
• 訓練目的は、学習中の分布の正確性と推論時の誤差蓄積に対するロバスト性のバランスをとることで、訓練時と推論時の誤差蓄積の根本的トレードオフを反映する。
• 状態分布をγ-モデルを介して前向きに伝播させることで、モデルロールアウトおよびモデルベース価値推定の両方をサポートする。これにより、長時間枠の計画が可能になる。
• フレームワークは報酬に依存しない設計となっており、再訓練なしに複数の下流タスクに同じモデルを応用可能である。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、計算可能で一般化可能な形で無限時間枠のダイナミクスを捉える予測モデルを設計できるか？
• RQ2 γ-モデルの生成的訓練手順は、標準的な単一ステップモデルと比較して、長期予測の正確性をどの程度向上させるか？
• RQ3 γ-モデルにおける訓練時と推論時の誤差蓄積のトレードオフは何か？ そして、それは下流の制御性能にどのように影響するか？
• RQ4 γ-モデルは、モデルベース強化学習におけるモデルロールアウトと価値推定の両方を効果的にサポートできるか？
• RQ5 GANや正規化フローなどの異なる深層生成的アーキテクチャは、γ-モデルの性能と安定性にどのように影響するか？

主な発見

• γ-モデルは、無限時間枠における長期的状態ダイナミクスを効果的に捉えており、標準的な単一ステップモデルよりも長時間枠の予測タスクで優れた性能を示した。
• 時刻差分学習の生成的再解釈に基づく訓練により、モデルはタスクに依存しない連続的後続表現を学習でき、一般化性を有するようになった。
• フレームワークは根本的なトレードオフを明らかにした：訓練時に高い正確性を達成するモデルは推論時により大きな誤差蓄積を示し、逆に、訓練時の正確性が低いモデルは推論時の誤差蓄積が小さい傾向にある。
• 実証的結果から、γ-モデルは正確なモデルベース価値推定と効果的なモデルロールアウトを可能にし、下流の制御性能を支えることが示された。
• 正規化フローとGANをγ-モデルの実装として用いることで、フレームワークの柔軟性と多様な深層生成的アーキテクチャとの相性の良さが実証された。
• γ-モデルはタスクに依存しない予測的機能を維持しており、再訓練なしに複数の報酬関数に再利用可能である。