[論文レビュー] Approximate Temporal Difference Learning is a Gradient Descent for Reversible Policies

Yann Ollivier|arXiv (Cornell University)|May 2, 2018

Reinforcement Learning in Robotics参考文献 7被引用数 16

ひとこと要約

この論文は、方策が可逆であるとき、近似時刻差分（TD）学習が値関数誤差のディリクレノルムに関する勾配降下法と等価であることを証明している。主な貢献は、非線形関数近似（例：ニューラルネットワーク）において、可逆性の下では割引率γ=1であっても収束性と安定性の理論的保証を提供することであり、TDを真の値関数と近似値関数の差のディリクレノルムを最小化するものとして解釈することで達成される。

ABSTRACT

In reinforcement learning, temporal difference (TD) is the most direct algorithm to learn the value function of a policy. For large or infinite state spaces, exact representations of the value function are usually not available, and it must be approximated by a function in some parametric family. However, with \emph{nonlinear} parametric approximations (such as neural networks), TD is not guaranteed to converge to a good approximation of the true value function within the family, and is known to diverge even in relatively simple cases. TD lacks an interpretation as a stochastic gradient descent of an error between the true and approximate value functions, which would provide such guarantees. We prove that approximate TD is a gradient descent provided the current policy is \emph{reversible}. This holds even with nonlinear approximations. A policy with transition probabilities $P(s,s')$ between states is reversible if there exists a function $μ$ over states such that $\frac{P(s,s')}{P(s',s)}=\frac{μ(s')}{μ(s)}$. In particular, every move can be undone with some probability. This condition is restrictive; it is satisfied, for instance, for a navigation problem in any unoriented graph. In this case, approximate TD is exactly a gradient descent of the \emph{Dirichlet norm}, the norm of the difference of \emph{gradients} between the true and approximate value functions. The Dirichlet norm also controls the bias of approximate policy gradient. These results hold even with no decay factor ($γ=1$) and do not rely on contractivity of the Bellman operator, thus proving stability of TD even with $γ=1$ for reversible policies.

研究の動機と目的

• ニューラルネットワークなどの非線形関数近似を用いた近似TDにおける理論的収束保証の欠如に対処すること。
• TDが本来は最小化する目的関数が不明であるが、勾配ベースの解釈を提供すること。
• ベルマン作用素が収縮的でない場合でも、TDが意味のある解に収束する条件を確立すること。
• ディリクレノルムが近似誤差および方策勾配推定のバイアスの両方を制御することを示すこと。
• TDが安定で解釈可能な勾配降下法となるような方策のクラス（可逆方策）を特定すること。

提案手法

• 方策の可逆性を、すべての遷移が正の確率で逆転可能であるような定常分布μが存在することとして定義する：P(s,s′)/P(s′,s) = μ(s′)/μ(s)。
• 真の値関数Vと近似関数Ũの間の誤差を測るためのディリクレノルムを導入する。定義は遷移確率と定常分布を用いて行われる：||Ũ−V||²_Dir = E_{s,s′} [ (Ũ(s′)−Ũ(s)−V(s′)+V(s))² ] μ(s)P(s,s′)。
• TD更新ルールが、誤差のディリクレノルムに関する勾配降下ステップ（ステップサイズη/2）と数学的に等価であることを証明する。
• ディリクレノルムが近似方策勾配法におけるバイアスの上界を提供することを示し、値関数近似の品質と方策最適化性能の直接的な関連を確立する。
• ナビゲーション問題における実用的応用を可能にするために、メトロポリス・ハスティングス法を用いて可逆方策を構築する。
• 古典的解析とは異なり、γ→1に近づく際のTDの収束速度が劣化しないことを示す。

実験結果

リサーチクエスチョン

• RQ1 近似TD学習が明確な目的関数に関する勾配降下法と等価となる条件は何か？
• RQ2 非線形関数近似を用いたTDの収束を理論的に保証できるか？ その場合、どのような仮定が必要か？
• RQ3 ディリクレノルムは強化学習における近似誤差および方策勾配バイアスとどのように関係するか？
• RQ4 なぜ一般に非線形近似器を用いた場合にTDは収束しないのか？ そして、方策クラスを制限することでこの問題を解決できるか？
• RQ5 γ=1におけるTDの安定性を理論的に正当化できるか？ その場合、方策にどのような構造的仮定が必要か？

主な発見

• 方策が可逆であるとき、近似TD学習は正確に値関数誤差のディリクレノルムに関する勾配降下法である。
• ディリクレノルムは近似方策勾配法におけるバイアスを制御し、値関数近似の品質と方策最適化の安定性の直接的な関連を提供する。
• 方策が可逆であれば、γ=1であっても非線形関数近似を用いたTDの収束が保証される。
• TDの収束速度はγに依存せず、γ→1に近づいても安定を保ち、古典的解析で要求される減少するステップサイズを必要としない。
• 非向き付きグラフ上のナビゲーション問題では、メトロポリス・ハスティングス法を用いて可逆方策を体系的に構築可能であり、理論の実用的展開を可能にする。
• ディリクレノルムは隣接状態間の値の差に注目するため、相対的値比較が重要となる問題に適している。