[論文レビュー] Geometric Insights into the Convergence of Nonlinear TD Learning

David Brandfonbrener, Joan Bruna|arXiv (Cornell University)|May 29, 2019

Gene Regulatory Network Analysis参考文献 28被引用数 5

ひとこと要約

本稿は、期待学習ダイナミクスをモデル化する連続時間ODEを分析することにより、非線形TD学習の収束に関する幾何的洞察を提供する。環境が近似器の条件数に対して十分に可逆的である場合、真の価値関数へのグローバル収束を証明し、ReLUネットワークを含む一様関数近似器のクラスを特定する。このクラスでは、ダイナミクスが有界であり、最悪ケースにおいて線形TDと同等の性能を示すことが判明した。

ABSTRACT

While there are convergence guarantees for temporal difference (TD) learning when using linear function approximators, the situation for nonlinear models is far less understood, and divergent examples are known. Here we take a first step towards extending theoretical convergence guarantees to TD learning with nonlinear function approximation. More precisely, we consider the expected learning dynamics of the TD(0) algorithm for value estimation. As the step-size converges to zero, these dynamics are defined by a nonlinear ODE which depends on the geometry of the space of function approximators, the structure of the underlying Markov chain, and their interaction. We find a set of function approximators that includes ReLU networks and has geometry amenable to TD learning regardless of environment, so that the solution performs about as well as linear TD in the worst case. Then, we show how environments that are more reversible induce dynamics that are better for TD learning and prove global convergence to the true value function for well-conditioned function approximators. Finally, we generalize a divergent counterexample to a family of divergent problems to demonstrate how the interaction between approximator and environment can go wrong and to motivate the assumptions needed to prove convergence.

研究の動機と目的

• 広く使用されているにもかかわらず理論的保証が欠如している非線形TD学習の収束行動を理解すること。
• 非線形TD学習の不安定性を、その連続時間期待ダイナミクスを分析することで解消すること。
• 収束を保証する関数近似器と環境の幾何的条件を同定すること。
• 既知の収束領域（線形および可逆的）を、より広い非線形関数近似器のクラスへ一般化すること。
• 特定のアーキテクチャ（例：ReLUネットワーク）が他のものよりもTD学習に適している理由を理論的根拠で説明すること。

提案手法

• TD(0)の期待学習ダイナミクスを連続時間における非線形常微分方程式（ODE）としてモデル化する。
• マコフ連鎖と定常分布から生じる性質を引き継ぐ行列 A = D_μ(I - γP) を定義し、ODEのダイナミクスを記述する。
• 関数近似器の幾何と環境の構造の相互作用を分析することで収束を検討する。
• 滑らかで一様な関数（ReLUネットワークを含む）のクラスを導入し、その幾何がダイナミクスを有界に保ち、最悪ケース性能が線形TDと同等であることを示す。
• 環境の可逆性が近似器の条件数を上回る場合に、固有値および幾何的議論を用いてグローバル収束を確立する。
• 既知の発散反例を非可逆的環境の一般化された族に拡張し、失敗モードを説明し、仮定の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 関数近似器の幾何的条件下で、非線形TD学習が収束する条件は何か？
• RQ2 環境のマコフ連鎖構造と関数近似器の幾何の相互作用が収束に与える影響は何か？
• RQ3 線形TDの収束保証をReLUネットワークのような非線形関数近似器へ拡張できるか？
• RQ4 環境の可逆性が非線形TD学習ダイナミクスの安定化に果たす役割は何か？
• RQ5 近似器と環境の間の構造的欠陥が発散を引き起こす原因となる場合、その原因は何か、そしてどのように特徴づけられるか？

主な発見

• 滑らかで一様な関数近似器（ReLUネットワークを含む）の集合は、TD(0) ODEのダイナミクスが真の価値関数を含むコンパクト集合に引きつけられることを保証する。
• ResNet風パrameterizationを用いたReLUに類似したネットワークでは、コンパクト集合内での最悪ケース誤差が線形TD学習と同等である。
• 環境の可逆性が近似器の条件数より高い場合、真の価値関数へのグローバル収束が達成される。
• 非可逆的環境に対して一般化された発散反例が構築され、近似器の幾何と環境構造の悪くない相互作用が発散を引き起こす可能性があることが示された。
• ODEのダイナミクスは行列 A = D_μ(I - γP) によって支配され、これは正定値であり、線形および可逆的ケースでの収束を保証する。
• これらの結果は、非線形TD学習が安定する条件を幾何的枠組みで理解する基盤を提供し、線形および可逆的収束領域の間のギャップを埋める。