[論文レビュー] Randomized Value Functions via Multiplicative Normalizing Flows

Abdelaziz Touati, Harsh Satija+3 more|arXiv (Cornell University)|Jun 6, 2018

Reinforcement Learning in Robotics参考文献 39被引用数 15

ひとこと要約

本稿では、深層QネットワークおよびDDPGエージェントにおける豊富で構造的な不確実性をモデル化するための乗法的正規化フロー（MNF）を導入し、探索のための効率的なトマソンサンプリングを可能にした。価値関数パラメータの複雑な事後分布を近似することで、本手法は優れたサンプル効率を達成し、アタリおよび連続的制御環境において最先端の探索ベースラインを上回った。

ABSTRACT

Randomized value functions offer a promising approach towards the challenge of efficient exploration in complex environments with high dimensional state and action spaces. Unlike traditional point estimate methods, randomized value functions maintain a posterior distribution over action-space values. This prevents the agent's behavior policy from prematurely exploiting early estimates and falling into local optima. In this work, we leverage recent advances in variational Bayesian neural networks and combine these with traditional Deep Q-Networks (DQN) and Deep Deterministic Policy Gradient (DDPG) to achieve randomized value functions for high-dimensional domains. In particular, we augment DQN and DDPG with multiplicative normalizing flows in order to track a rich approximate posterior distribution over the parameters of the value function. This allows the agent to perform approximate Thompson sampling in a computationally efficient manner via stochastic gradient methods. We demonstrate the benefits of our approach through an empirical comparison in high dimensional environments.

研究の動機と目的

• スパarsな報酬が得られる高次元の強化学習環境における効率的探索の課題に対処すること。
• 変分推論を用いて価値関数パラメータの豊富で構造的な不確実性をモデル化することで、サンプル効率を向上させること。
• DQNおよびDDPGと正規化フローを組み合わせることで、ベイジアン深層強化学習を複雑で高次元のドメインにスケーリングすること。
• 深層ニューラルネットワークにおける近似的事後分布推論を通じて、計算的に効率的なトマソンサンプリングを可能にすること。
• 標準ベンチマーク、特にアタリゲームおよびOpenAI Gymの連続的制御タスクにおいて、手法の妥当性を検証すること。

提案手法

• 深層Qネットワーク（DQN）およびDDPGに乗法的正規化フロー（MNF）を統合し、価値関数パラメータの柔軟で近似的な事後分布をモデル化する。
• MNFを用いてニューラルネットワーク重み間の複雑で任意の依存関係を捉え、独立したパラメータ事前分布よりも豊かな不確実性表現を可能にする。
• 学習済みの事後分布からのサンプリングを通じて、近似的トマソンサンプリングを実行するための確率的勾配法を適用する。
• 正規化フローに基づく事後分布を用いた変分推論を採用し、不確実性推定における計算効率と表現力のバランスを図る。
• 標準RL目的関数と周辺尤度の変分下界を組み合わせた微分可能な損失関数を用いて、モデルをエンドツーエンドで訓練する。
• 正則化強度λおよびフローデプスのハイパーパrameterを調整することで、探索と活用のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 乗法的正規化フローは、高次元強化学習における価値関数の不確実性を効果的にモデル化でき、効率的な探索を可能にするか？
• RQ2 提案手法は、ε-greedy、NoisyNet、Bootstrapped DQNといった既存の探索ベースラインを、挑戦的なアタリ環境で上回るか？
• RQ3 MNFに基づく探索戦略は、スパース報酬設定において、内因的好奇心や擬似カウント手法と比較してどうなるか？
• RQ4 本手法は、計算効率とサンプル効率を維持したまま、連続的制御タスクにスケーリング可能か？
• RQ5 MNFが提供するより洗練された事後構造は、単純な確率的パrameter化手法よりも、より効果的なトマソンサンプリングを可能にするか？

主な発見

• Gravitar（報酬がスパースな難易度の高い探索ゲーム）において、MNF-DQNはε-greedyおよびNoisyNetのDQNを上回り、サンプル効率の向上を示した。
• 13種のアタリゲームにおいて、MNF-DQNは6つのゲームでBootstrapped DQNを明確に上回り、4つで同等、3つでのみ劣位に回った。これは一貫性があり、競争力のある性能を示した。
• HalfCheetah環境において、MNF-DDPGは、オーバーラップノイズ付きDDPGおよびNoisyNetを含むすべてのベースラインを上回る平均報酬を達成し、連続的制御における優れた探索性能を示した。
• 特に報酬がスパースな状況下で、深く探索を要する環境において、本手法はBBQNおよびNoisyNetベースラインを上回った。
• MNF推論の計算コストは、モデルパラメータ数に比例して線形に増加するため、大規模な深層強化学習において実用的である。
• Osbandら（2018）のランダム化事前関数ベースラインは、標準的なBootstrapped DQNよりも性能向上を示さなかった。これは、MNFが構造的な事後分布を提供する利点を示している。