[論文レビュー] Temporal-difference learning with nonlinear function approximation: lazy training and mean field regimes

Andréa Agazzi, Jianfeng Lu|arXiv (Cornell University)|May 27, 2019

Reinforcement Learning in Robotics参考文献 62被引用数 4

ひとこと要約

本稿は、マーカフ報酬過程における価値関数近似のための広いニューラルネットワークを用いた時系列差分（TD）学習を分析し、ネットワーク重みの変化が最小限であるラージトレーニング制度と、平均場制度を比較する。ラージトレーニング制度では、グローバルまたはローカル最小値への指数的収束を証明し、平均場制度では、すべての固定点がグローバル最小値であることを示し、最適な近似を保証する。

ABSTRACT

We discuss the approximation of the value function for infinite-horizon discounted Markov Reward Processes (MRP) with nonlinear functions trained with the Temporal-Difference (TD) learning algorithm. We first consider this problem under a certain scaling of the approximating function, leading to a regime called lazy training. In this regime, the parameters of the model vary only slightly during the learning process, a feature that has recently been observed in the training of neural networks, where the scaling we study arises naturally, implicit in the initialization of their parameters. Both in the under- and over-parametrized frameworks, we prove exponential convergence to local, respectively global minimizers of the above algorithm in the lazy training regime. We then compare this scaling of the parameters to the mean-field regime, where the approximately linear behavior of the model is lost. Under this alternative scaling we prove that all fixed points of the dynamics in parameter space are global minimizers. We finally give examples of our convergence results in the case of models that diverge if trained with non-lazy TD learning, and in the case of neural networks.

研究の動機と目的

• 広いニューラルネットワークを用いた価値関数近似におけるTD学習の収束性と最適性を分析すること。
• 重みの更新が小さく、モデルが概ね線形に振る舞うラージトレーニング制度におけるTD学習の理論的保証を確立すること。
• 非線形ダイナミクスが支配する平均場制度と比較し、それぞれの収束性および近似特性を評価すること。
• 現実的なスケーリング仮定の下で、理論と実践のギャップを埋め、深層強化学習における収束結果を提供すること。
• 勾配ベースの教師あり学習から得られた収束結果を、TD学習に特有の非勾配的で回転型のベクトル場へと拡張すること。

提案手法

• TD学習ダイナミクスの非線形的・微分幾何的設定に、線形関数近似における収縮条件を適応する。
• スケーリングされたパラメータ初期化を導入し、ニューラルネットワークのパラメータが訓練中にゆっくりと変化するラージトレーニング制度を実現する。
• 平均場理論の技術を用いて、広いニューラルネットワークの非線形ダイナミクスを平均場スケーリング制度で分析する。
• パラメータダイナミクスのすべての固定点が最適であることを示し、平均場制度でのグローバル最小値への収束を証明する。
• 勾配ベースの教師あり学習における収束結果を、非勾配的TD学習フレームワークへと拡張し、回転型ベクトル場を扱う。
• 目的関数として射影TD誤差を用い、過小パラメータ化および過小パラメータ化の両設定における収束性を分析する。

実験結果

リサーチクエスチョン

• RQ1 広いニューラルネットワークを用いたTD学習は、ラージトレーニング制度において収束するか。その程度はいかほどか。
• RQ2 収束速度および近似品質の観点から、ラージトレーニング制度と平均場制度はどのように比較されるか。
• RQ3 平均場制度において、TD学習ダイナミクスのすべての固定点がグローバルに最適であるか。
• RQ4 線形関数近似における理論的収束保証を、強化学習における非線形的で広いニューラルネットワークへと拡張可能か。
• RQ5 初期化スケーリングが、非線形関数近似における安定的かつ収束的訓練を保証する上で果たす役割は何か。

主な発見

• ラージトレーニング制度では、過小パラメータ化の場合はローカル最小値へ指数的収束が成立し、過小パラメータ化の場合はグローバル最小値へ収束する。
• ラージトレーニング制度では、元のマーカフ過程の可逆性に依存せず収束が保証される。これは、一部の先行研究とは異なり、より一般的である。
• 平均場制度では、TD学習ダイナミクスのすべての固定点がグローバル最小値である。これは、真の価値関数の完全な近似を意味する。
• 平均場制度は、すべての定常点が最適であるため、ラージトレーニング制度よりも強力な近似能力を示す。
• 理論的枠組みは、収縮に基づく解析を非勾配的ベクトル場へ一般化することで、教師あり学習からTD学習への収束結果の拡張を実現する。
• 数値例により収束特性が確認され、標準的なTD学習が発散する場合でも、ラージトレーニング制度では安定性が保たれる事例が示された。