[論文レビュー] On the Expected Dynamics of Nonlinear TD Learning.

David Brandfonbrener, Joan Bruna|arXiv (Cornell University)|May 29, 2019

Neural Networks and Applications参考文献 12被引用数 4

ひとこと要約

本論文は、関数近似の幾何構造とマルコフ連鎖構造の相互作用を捉える非線形常微分方程式（ODE）を用いて、非線形TD(0)学習の期待されるダイナミクスを分析する。well-conditionedかつ可逆な環境下で、真の価値関数への収束を保証する関数近似器のクラス（ReLUネットワークを含む）を同定し、既知の発散例を一般化することで、失敗条件を明確にする。

ABSTRACT

While there are convergence guarantees for temporal difference (TD) learning when using linear function approximators, the situation for nonlinear models is far less understood, and divergent examples are known. Here we take a first step towards extending theoretical convergence guarantees to TD learning with nonlinear function approximation. More precisely, we consider the expected learning dynamics of the TD(0) algorithm for value estimation. As the step-size converges to zero, these dynamics are defined by a nonlinear ODE which depends on the geometry of the space of function approximators, the structure of the underlying Markov chain, and their interaction. We find a set of function approximators that includes ReLU networks and has geometry amenable to TD learning regardless of environment, so that the solution performs about as well as linear TD in the worst case. Then, we show how environments that are more reversible induce dynamics that are better for TD learning and prove global convergence to the true value function for well-conditioned function approximators. Finally, we generalize a divergent counterexample to a family of divergent problems to demonstrate how the interaction between approximator and environment can go wrong and to motivate the assumptions needed to prove convergence.

研究の動機と目的

• 時系列差分学習における線形関数近似から非線形関数近似への理論的収束保証を拡張すること。
• 関数近似器の幾何構造とマルコフ連鎖の構造が学習ダイナミクスに与える共同的影響を理解すること。
• 非線形TD(0)が真の価値関数へグローバルに収束する条件を同定すること。
• 既知の発散反例を形式化・一般化し、非線形TD学習における根本的失敗メカニズムを明確にすること。

提案手法

• ステップサイズをゼロに近づける極限において、TD(0)の期待される学習ダイナミクスを非線形ODEとしてモデル化する。
• 関数近似器の幾何構造と基礎となるマルコフ連鎖の遷移構造の相互作用を分析する。
• 環境に依存せずに良好な幾何的性質を維持する関数近似器のクラス（ReLUネットワークを含む）を定義する。
• 環境がwell-conditionedかつ可逆である場合、提案された近似器クラスのもとで真の価値関数へのグローバル収束を証明する。
• 既知の発散反例を一般化し、関数近似器と環境の不整合に起因する失敗モードを示す発展的反例族を構築する。

実験結果

リサーチクエスチョン

• RQ1 関数近似器と環境にどのような条件下で非線形TD(0)が真の価値関数に収束するか？
• RQ2 関数近似器の空間の幾何構造とマルコフ連鎖構造の相互作用が学習ダイナミクスにどのように影響するか？
• RQ3 環境の可逆性が非線形TD(0)学習の安定化または不安定化に果たす役割は何か？
• RQ4 既知の発散例をどのように一般化することで、非線形TD学習における根本的失敗メカニズムを明らかにできるか？

主な発見

• ReLUネットワークを含むある関数近似器のクラスは、環境に依存せずに安定したTD学習を支援する幾何的性質を有し、最悪ケースにおいても線形TDと同等の性能を達成する。
• well-conditionedかつ可逆な環境下では、提案された近似器クラスのもとで非線形TD(0)は真の価値関数へグローバルに収束する。
• 近似器の幾何構造と環境構造の相互作用は発散を引き起こす可能性があり、これは一般化された発散反例族によって形式化されている。
• 環境の可逆性は学習ダイナミクスを向上させ、非線形TD(0)設定における収束性を高める。