[論文レビュー] Disentangling Dynamics and Returns: Value Function Decomposition with Future Prediction

Hongyao Tang, Jianye Hao+5 more|arXiv (Cornell University)|May 27, 2019

Financial Markets and Investment Strategies参考文献 32被引用数 3

ひとこと要約

本論文は、将来の軌道予測を用いて価値関数を動的要因とリターン要因に分解する、深層強化学習アルゴリズムである未来予測を伴う価値関数分解（VDFP）を提案する。条件付きVAEを用いた動的モデルと凸型のリターンヘッドにより、MuJoCoの連続的制御タスクにおいて最先端の性能を達成し、遅延報酬設定でも特に優れた性能を示す。最終的なリターンにおいてDDPGを2倍～4倍上回った。

ABSTRACT

Value functions are crucial for model-free Reinforcement Learning (RL) to obtain a policy implicitly or guide the policy updates. Value estimation heavily depends on the stochasticity of environmental dynamics and the quality of reward signals. In this paper, we propose a two-step understanding of value estimation from the perspective of future prediction, through decomposing the value function into a reward-independent future dynamics part and a policy-independent trajectory return part. We then derive a practical deep RL algorithm from the above decomposition, consisting of a convolutional trajectory representation model, a conditional variational dynamics model to predict the expected representation of future trajectory and a convex trajectory return model that maps a trajectory representation to its return. Our algorithm is evaluated in MuJoCo continuous control tasks and shows superior results under both common settings and delayed reward settings.

研究の動機と目的

• 価値関数推定における環境の動的要因と報酬信号の混合が、確率的かつ遅延報酬環境での性能低下を引き起こす問題に対処すること。
• 将来の動的要因の予測と軌道リターンの推定に分離可能な学習可能な2つの要因に価値推定を分解する、モデルフリーRLアルゴリズムの開発。
• 動的要因とリターンモデルを独立して学習させることで、サンプル効率と困難な設定（例：遅延報酬）における頑健性の向上。
• 人間の認知プロセスにインspiredされた、将来予測に基づく価値関数推定の新しい理論的・実用的枠組みの提供。
• 標準的なMuJoCoベンチマーク上で実験的に検証し、各構成要素のアブレーションを実施して再現性と洞察を得ること。

提案手法

• 価値関数を報酬に依存しない予測的動的関数と方策に依存しない軌道リターン関数の合成として再定式化する。
• 畳み込みニューラルネットワークが、後続のモデリングのための軌道をコンパクトな表現に符号化する。
• 条件付き変分オートエンコーダ（VAE）が、将来の軌道表現の分布をモデル化し、クリッピングされた生成ノイズを用いて期待される将来の状態・行動軌道を近似する。
• 動的モデルは報酬信号から分離された期待される将来の表現を予測するように訓練される。
• 凸型の軌道リターンモデルが、軌道表現をその割引累積リターンにマップし、動的モデルとは独立に訓練される。
• 全体のアルゴリズムは、経験リプレイを用いたオフポリシー学習を採用し、分離された構成要素を活用して安定的かつ効率的な学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 将来予測を用いて、価値関数推定を動的要因とリターン要因に有効に分解できるか？
• RQ2 動的要因とリターンモデリングを分離することで、確率的動的要因や遅延報酬環境における学習の安定性と性能が向上するか？
• RQ3 クリッピングされたノイズ生成を用いた条件付きVAEは、期待される将来の軌道を効果的にモデル化できるか、また報酬信号の不規則性に対しても頑健であるか？
• RQ4 標準的および遅延報酬MuJoCo環境において、提案手法は既存のSOTAアルゴリズムを上回るか？
• RQ5 各構成要素（動的要因、リターン、表現）が全体の性能に果たす寄与度は何か？また、分布シフトに対してどの程度頑健か？

主な発見

• 標準的な学習条件下でHalfCheetah-v1で最終リターン5818.60 ± 336.25を達成し、DDPGや他のベースラインを上回った。
• 16ステップの遅延報酬設定下でも、HalfCheetah-v1で5712.55 ± 233.74のリターンを達成し、最終的性能でDDPGを2倍以上上回った。
• 128ステップの遅延設定下でも、HalfCheetah-v1で4752.84 ± 328.75のリターンを維持し、DDSRが効果的に学習できないのに対し、強い頑健性を示した。
• アブレーションスタディの結果、条件付きVAEや凸型リターンモデルを除去すると性能が著しく低下し、両構成要素の重要性が確認された。
• Walker2d-v1やHopper-v1を含む全テスト環境において、学習速度と最終的性能の両面で一貫した優位性を示した。
• オフポリシー学習を用いても性能が劣化しなかったため、決定的方策と分離されたアーキテクチャがオンポリシー制約を軽減していることが示唆された。