[論文レビュー] Learning Multimodal Transition Dynamics for Model-Based Reinforcement Learning

Thomas M. Moerland, Joost Broekens+1 more|arXiv (Cornell University)|May 1, 2017

Reinforcement Learning in Robotics参考文献 15被引用数 26

ひとこと要約

本稿では、モデルベース強化学習におけるマルチモーダルな遷移ダイナミクスを学習するために、深層生成モデルを用いた条件付き変分推論（VI）の使用を提案する。離散的および連続的ラティス変数を活用することで、複雑で高次元の確率的遷移を安定して捉えつつ、正確に決定論的成分をモデル化する。これは、マルチモーダルな結果分布を捉えるのに失敗する判別的モデル（例：MSE損失）を上回る。

ABSTRACT

In this paper we study how to learn stochastic, multimodal transition dynamics in reinforcement learning (RL) tasks. We focus on evaluating transition function estimation, while we defer planning over this model to future work. Stochasticity is a fundamental property of many task environments. However, discriminative function approximators have difficulty estimating multimodal stochasticity. In contrast, deep generative models do capture complex high-dimensional outcome distributions. First we discuss why, amongst such models, conditional variational inference (VI) is theoretically most appealing for model-based RL. Subsequently, we compare different VI models on their ability to learn complex stochasticity on simulated functions, as well as on a typical RL gridworld with multimodal dynamics. Results show VI successfully predicts multimodal outcomes, but also robustly ignores these for deterministic parts of the transition dynamics. In summary, we show a robust method to learn multimodal transitions using function approximation, which is a key preliminary for model-based RL in stochastic domains.

研究の動機と目的

• 強化学習環境における確率的でマルチモーダルな遷移ダイナミクスを学ぶという課題に対処すること。
• マルチモーダルな結果分布を捉えられないため、MSE損失などの判別的モデルの限界を克服すること。
• 特に条件付き変分推論を用いた深層生成モデルの、複雑な遷移ダイナミクスのモデル化における有効性を評価すること。
• VIベースのモデルが、遷移関数の決定論的および確率的成分を明確に区別できることを示すこと。
• 現実のRLタスクにおける高次元の状態-行動空間に適した、スケーラブルで関数近似可能なソリューションを提供すること。

提案手法

• 現在の状態-行動ペア $ x $ と次の状態 $ y $ の間の次状態分布 $ p(y|x) $ をモデル化するために、条件付き変分推論（VI）を採用する。
• 連続的球面ガウス分布、離散的、正規化フローに基づくラティス空間を含む、深層ニューラルネットワークとラティス変数を用い、複雑でマルチモーダルな結果分布をモデル化する。
• 再構成精度とラティス空間の正則化のバランスを取るために、変分下界（ELBO）を用いてモデルを訓練する。
• 真の事後分布 $ q(z|x,y) $ を近似する推論ネットワークを統合し、エンドツーエンド微分可能な学習を可能にする。
• 合成関数およびマルチモーダルなダイナミクスを有するグリッドワールド環境において、複数のVIアーキテクチャ（例：VAE、LVAE、正規化フロー）を比較する。
• マルチモーダルな確率的性質を捉える際の生成モデルの優位性を評価するため、MSEベースのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 条件付き変分推論は、高次元の状態空間におけるマルチモーダルな遷移ダイナミクスを効果的にモデル化できるか？
• RQ2 MSEで訓練されたネットワークなどの判別的関数近似器と比較して、VIベースのモデリングは複雑でマルチモーダルな結果分布をどれほど正確に捉えられるか？
• RQ3 モデルは、遷移関数の決定論的および確率的成分を安定して区別できるか？
• RQ4 連続的、離散的、正規化フローの各タイプのラティス変数は、マルチモーダルなダイナミクスの学習にどのように影響を与えるか？
• RQ5 表形式の手法が不適切な現実のRL環境において、モデルは一般化可能か？

主な発見

• 条件付き変分推論は、マルチモーダルな結果分布を効果的に捉えており、単一モードに収束してしまうMSEベースの判別的モデルを上回る。
• VIベースのモデルは、決定論的成分のマルチモーダル構造を安定して無視し、適切な場所では正確な点予測を維持する。
• ガウス分布、離散的、正規化フローの各ラティス変数タイプ間で顕著な性能差は観察されず、標準的な球面ガウスVAEが、調査されたドメインサイズにおいて十分であることが示唆された。
• モデルは、マルチモーダルなダイナミクスを持つグリッドワールドにおいて、オンラインで正確な遷移ダイナミクスを学習でき、典型的なRL環境での実現可能性を示した。
• この手法は高次元の状態空間にスケーリング可能であり、表形式学習が不適切な関数近似の分野でも有効である。
• 結果から、VIは理論的および実験的に、モデルベースRLにおける複雑な確率的性質のモデリングに適しており、将来的な計画の基盤を形成する強固な基盤であることが確認された。