[論文レビュー] The Local Optimality of Reinforcement Learning by Value Gradients, and its Relationship to Policy Gradient Learning

Michael Fairbank, Eduardo Alonso|arXiv (Cornell University)|Jan 2, 2011

Reinforcement Learning in Robotics参考文献 19被引用数 10

ひとこと要約

本論文は、連続的状態空間における強化学習において、局所最適性を達成するための価値勾配学習（VGL）を提案する。これは、軌道に沿った価値関数の勾配を直接学習することで、1つの軌道に沿った勾配更新が局所極値性を保証し、しばしば局所最適性を達成することを証明している。さらに、価値関数に対するグリーディ方策を用いる場合、VGLとポリシー勾配学習の驚くべき同等性を確立し、一般関数近似器を用いた収束を可能にしている。

ABSTRACT

In this theoretical paper we are concerned with the problem of learning a value function by a smooth general function approximator, to solve a deterministic episodic control problem in a large continuous state space. It is shown that learning the gradient of the value-function at every point along a trajectory generated by a greedy policy is a sufficient condition for the trajectory to be locally extremal, and often locally optimal, and we argue that this brings greater efficiency to value-function learning. This contrasts to traditional value-function learning in which the value-function must be learnt over the whole of state space. It is also proven that policy-gradient learning applied to a greedy policy on a value-function produces a weight update equivalent to a value-gradient weight update, which provides a surprising connection between these two alternative paradigms of reinforcement learning, and a convergence proof for control problems with a value function represented by a general smooth function approximator.

研究の動機と目的

• 従来の価値関数学習が非効率である大規模な連続的状態空間において最適方策を学習する課題に対処すること。
• 全状態空間の更新を避けても、1つの軌道に沿った価値勾配の学習が局所最適性を達成するのに十分であることを示すこと。
• グリーディ方策の下で、価値勾配学習とポリシー勾配法の間の理論的関係を確立し、それらの同等性を示すこと。
• 決定的環境において一般な滑らかな関数近似器を用いた制御問題の収束を証明すること。

提案手法

• 価値関数の勾配を軌道に沿って最適化するための価値勾配学習（VGL）を提案し、価値関数に滑らかな関数近似器を用いる。
• ネットワーク重みに関する価値関数勾配に基づく重み更新ルールを導出する。時間的信用配分にはエリギビリティトレースを用いる。
• 動的ヤコビアン $ \frac{Df}{D\vec{x}} $ を介して時間的信用配分と価値勾配更新を統合する再帰的エリギビリティトレース行列 $ E_t $ を導入する。
• 即時のと将来の時間的信用のバランスを取るために、$ \lambda \in [0,1] $ のブートストラップパラメータを用いる。これによりTD(0)が価値勾配に一般化される。
• VGL(λ)アルゴリズムをオンラインかつ軌道ベースで適用し、各ステップ後に局所勾配とエリギビリティトレースを用いて重みを更新する。
• 方策が価値関数に対してグリーディである場合、VGLの重み更新が数学的にポリシー勾配更新と同等であることを証明し、2つの主要なRLパラダイムを結びつける。

実験結果

リサーチクエスチョン

• RQ1 1つの軌道に沿った価値関数の勾配を学習することは、決定的連続制御問題において局所最適行動を達成できるか？
• RQ2 グリーディ方策の文脈において、価値勾配学習とポリシー勾配学習の理論的関係は何か？
• RQ3 一般関数近似器を用いた価値勾配学習は、ポリシー勾配法と同様の条件下で収束するか？
• RQ4 エリギビリティトレースはどのように価値勾配学習に適応され、安定的かつ効率的な信用配分を保証できるか？

主な発見

• 1つの軌道に沿った価値勾配の学習は、全状態空間の更新がなくても、軌道が局所極値的であり、しばしば局所最適であるための十分条件である。
• 方策が価値関数に対してグリーディである場合、VGL(λ)の重み更新ルールは数学的にポリシー勾配更新と同等である。これにより、2つのパラダイム間の深い理論的結びつきが確立される。
• 本手法は、従来のTD(λ)が同様の条件下で失敗する場合でも、一般な滑らかな関数近似器を用いた制御問題の収束を可能にする。
• エリギビリティトレース行列 $ E_t $ は、動的ヤコビアンを用いて価値勾配の信用を時間的に効果的に伝搬させ、VGLにおける時間的信用配分を可能にする。
• 局所勾配情報に焦点を当てることで、決定的環境における広範な探索や確率的要因の必要性を回避できる。
• 本手法は非線形関数近似器に対して頑健であり、提案された枠組み下で収束保証を提供するが、標準的なTD(λ)とグリーディ方策では同様でない。