[論文レビュー] Direct and indirect reinforcement learning

Yang Guan, Shengbo Eben Li+5 more|arXiv (Cornell University)|Dec 23, 2019

Reinforcement Learning in Robotics参考文献 50被引用数 8

ひとこと要約

本稿は、強化学習（RL）を、方策最適化の方法に基づいて直接的・間接的メソッドに分類する新しい分類法を提示する。直接的RLは勾配降下法により期待累積報酬を直接最大化するのに対し、間接的RLは最適性の必要十分条件としてのベルマン方程式を解く。著者らは、近似価値関数と定常状態分布を用いて両者を共通の方策勾配フレームワークに統一し、その等価性を示し、価値関数の精度と状態分布の選択が学習性能に与える影響を実証的に検証した。

ABSTRACT

Reinforcement learning (RL) algorithms have been successfully applied to a range of challenging sequential decision making and control tasks. In this paper, we classify RL into direct and indirect RL according to how they seek the optimal policy of the Markov decision process problem. The former solves the optimal policy by directly maximizing an objective function using gradient descent methods, in which the objective function is usually the expectation of accumulative future rewards. The latter indirectly finds the optimal policy by solving the Bellman equation, which is the sufficient and necessary condition from Bellman's principle of optimality. We study policy gradient forms of direct and indirect RL and show that both of them can derive the actor-critic architecture and can be unified into a policy gradient with the approximate value function and the stationary state distribution, revealing the equivalence of direct and indirect RL. We employ a Gridworld task to verify the influence of different forms of policy gradient, suggesting their differences and relationships experimentally. Finally, we classify current mainstream RL algorithms using the direct and indirect taxonomy, together with other ones including value-based and policy-based, model-based and model-free.

研究の動機と目的

• 期待累積報酬の最適化メカニズムに基づいて直接的・間接的メソッドに区別する新たな分類法を確立すること。
• 近似価値関数と定常状態分布を用いて、直接的および間接的RLを単一の方策勾配定式化に統一すること。
• 状態分布と価値関数近似の違いが方策勾配学習性能に与える影響を実証的に調査すること。
• 主流のRLアルゴリズムを直接/間接分類法に基づいて分類し、価値ベース/方策ベースおよびモデルベース/モデルフリーといった既存の分類法と比較すること。
• 最適制御理論にインspiredされ、直接的および間接的メソッドの長所を組み合わせることでRLアルゴリズムの改善に寄与する知見を提供すること。

提案手法

• ベルマンの最適性原理から導かれるベルマン方程式を解くことにより最適性が保証される間接的RLと、期待累積報酬の勾配降下による直接的RLを定義する。
• 直接的および間接的方策勾配定式化からアクター・クリティックアーキテクチャを導出し、構造的等価性を示す。
• 近似価値関数と定常状態分布を組み込んだ統一された方策勾配を定式化し、直接的および間接的RLの数学的等価性を明らかにする。
• 制御された条件下で異なる方策勾配バリアントをシミュレート・比較できるグリッドワールド環境を設計する。
• 初期状態分布と定常状態分布の影響、および価値関数近似の精度が収束速度と最終的性能に与える影響を評価する。
• ハイパーパramータのアブレーション（例：方策更新ごとの価値関数更新回数）を用いて、方策と価値関数の更新頻度のトレードオフを分析する。

実験結果

リサーチクエスチョン

• RQ1 直接的および間接的強化学習手法は、その背後にある最適化メカニズムにおいてどのように異なるか？
• RQ2 直接的および間接的RLは、単一の方策勾配定式化において統一可能か？ もしそうなら、どのような条件下で可能か？
• RQ3 方策勾配推定において、初期状態分布と定常状態分布を用いる際の違いは何か？
• RQ4 近似価値関数の精度が、方策勾配法の収束速度と性能に与える影響は何か？
• RQ5 価値関数や状態分布といった方策勾配の構成要素の違いが、実際の学習結果に及ぼす影響はどの程度か？

主な発見

• 近似価値関数と定常状態分布を含む統一された方策勾配フレームワーク下では、直接的および間接的RL手法は数学的に等価である。
• 定常状態分布は初期状態分布よりも優れた方策最適化を実現する。これは、エージェントが実際に訪問する状態を反映しており、方策勾配推定におけるバイアスを低減するためである。
• 価値関数近似誤差は収束を著しく遅くする。近似価値関数が収束しない場合、方策勾配推定が不正確になり、性能が著しく低下する。
• 方策更新に比べて価値関数更新の頻度を高めることで、学習速度と安定性が向上する。特に価値関数がまだ正確でない場合に顕著である。
• 価値関数がうまく近似されていない場合、間接的方策勾配はベースラインPGよりも収束が遅くなる。これは、価値関数の更新が不十分で、勾配推定がバイアスを持つためである。
• 方策エントロピーは時間経過とともに減少し、方策の決定論的化が進むが、近似価値関数や非定常状態分布を用いる場合、収束が遅れる傾向がある。これは、収束の遅れを示唆している。