[論文レビュー] A Comparative Analysis of Expected and Distributional Reinforcement Learning

Clare Lyle, Pablo Samuel Castro+1 more|arXiv (Cornell University)|Jan 30, 2019

Reinforcement Learning in Robotics参考文献 13被引用数 21

ひとこと要約

この論文は、表形式、線形、非線形関数近似の設定において期待値型と分布型強化学習を比較している。分布型手法は表形式および線形設定では期待値型手法とほとんど同等であるが、非線形関数近似では乖離を示し、特にC51におけるソフトマックスと深層ネットワークにおける特徴学習のおかげで最適化と正則化が向上し、期待値型手法を上回る性能を発揮することがわかった。

ABSTRACT

Since their introduction a year ago, distributional approaches to reinforcement learning (distributional RL) have produced strong results relative to the standard approach which models expected values (expected RL). However, aside from convergence guarantees, there have been few theoretical results investigating the reasons behind the improvements distributional RL provides. In this paper we begin the investigation into this fundamental question by analyzing the differences in the tabular, linear approximation, and non-linear approximation settings. We prove that in many realizations of the tabular and linear approximation settings, distributional RL behaves exactly the same as expected RL. In cases where the two methods behave differently, distributional RL can in fact hurt performance when it does not induce identical behaviour. We then continue with an empirical analysis comparing distributional and expected RL methods in control settings with non-linear approximators to tease apart where the improvements from distributional RL methods are coming from.

研究の動機と目的

• 分布型強化学習（DRL）が理論的裏付けが乏しいにもかかわらず深層RLで期待値型強化学習（ERL）を上回る理由を調査すること。
• 表形式および線形関数近似設定において、分布型手法と期待値型手法が異なる挙動を示すかどうかを特定すること。
• 異なる関数近似の枠組みで性能を比較することで、DRLの実験的成功の原因を特定すること。
• C51におけるソフトマックスや分布型プロジェクションといった特定の構成要素が、学習効率と最終的性能に与える影響を評価すること。

提案手法

• DRLとERLの挙動を比較するため、表形式および線形関数近似設定における理論的分析。
• CartPoleおよびAcrobot環境で、SARSAおよびDQNの変種（DQN、C51、S51-lite）を用いた実験的評価。Fourier基底特徴を用いた。
• 特徴表現力への影響を評価するため、増加するFourier基底の次数を用いた線形関数近似の適用。
• 非線形関数近似を検討するため、Fourier特徴を2層のReLUニューラルネットワークに置き換え。
• CDFおよびPMFプロジェクションを用いてS51-liteを実装し、分布型更新メカニズムの違いを比較。
• Adam最適化子を用いた訓練とハイパーパramータチューニングにより、アルゴリズム間の公平な比較を確保。

実験結果

リサーチクエスチョン

• RQ1 表形式および線形関数近似設定において、分布型と期待値型強化学習手法は同一に動作するか？
• RQ2 分布型RLが期待値型RLから乖離するのはどのような条件下か？また、その乖離は性能向上に寄与するか？
• RQ3 非線形関数近似は、分布型RLの観察された性能向上に果たす役割は何か？
• RQ4 C51におけるソフトマックスや分布型プロジェクションといった特定の構成要素は、学習効率と最終的性能にどのように影響するか？
• RQ5 分布型の視点は、主に正則化、補助的教師信号、それとも深層ネットワークにおける最適化の向上のおかげで有益なのか？

主な発見

• 表形式および線形関数近似設定では、分布型更新が期待値を保持する限り、分布型RLは期待値型RLと同一に動作する。これは、これらの設定では内在的な利点がないことを示している。
• 分布型更新が期待値を保持しない場合（例：PMFを用いたS51-lite）、性能が低下することがあり、分布型モデリングが常に学習を改善するわけではないことが示された。
• 深層ネットワークを用いた非線形関数近似では、C51がCartPoleおよびAcrobotの両方でDQNを上回り、分布型手法が非線形設定で優位性を発揮することがわかった。
• PMFを用いたS51-liteはDQNやC51と比べて著しく性能が低く、分布型プロジェクションメカニズムの選択が重要であり、C51におけるソフトマックスが重要な正則化役割を果たしていることが示された。
• 低次元の特徴空間（例：Fourier基底の次数2）では、分布型手法はDQNに劣ることがあり、分布型手法が劣悪な特徴表現に対してより敏感であることが示された。
• 深層RLにおける分布型RLの性能向上は、主に非線形関数近似器における最適化と正則化の向上に起因しており、特にC51におけるソフトマックスの使用と、より深いネットワークによる特徴学習のおかげである。