[論文レビュー] Neural Temporal-Difference Learning Converges to Global Optima

Qi Cai, Zhuoran Yang+2 more|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics被引用数 12

ひとこと要約

この論文は、価値関数近似における非凸性のため長年の未解決問題であった、ニューラル時系列差分（TD）学習のグローバル収束を、平均二乗射影ベルヌーイ誤差のグローバル最適解へ初めて証明し、部分線形収束レートを確立した。この結果は、ニューラルネットワークの過剰パラメータ化に依存しており、非凸性にもかかわらず安定した最適化を可能にする。この結果は、ニューラル（ソフト）Q学習およびポリシー勾配法へと拡張可能である。

ABSTRACT

Temporal-difference learning (TD), coupled with neural networks, is among the most fundamental building blocks of deep reinforcement learning. However, due to the nonlinearity in value function approximation, such a coupling leads to nonconvexity and even divergence in optimization. As a result, the global convergence of neural TD remains unclear. In this paper, we prove for the first time that neural TD converges at a sublinear rate to the global optimum of the mean-squared projected Bellman error for policy evaluation. In particular, we show how such global convergence is enabled by the overparametrization of neural networks, which also plays a vital role in the empirical success of neural TD. Beyond policy evaluation, we establish the global convergence of neural (soft) Q-learning, which is further connected to that of policy gradient algorithms.

研究の動機と目的

• 非凸性による価値関数近似のため、長年の未解決問題であったニューラルTD学習におけるグローバル収束の解決。
• 過剰パラメータ化の下で、ニューラルTDの価値評価における理論的保証の確立。
• 収束解析の拡張をニューラル（ソフト）Q学習へ行い、ポリシー勾配アルゴリズムと結びつけること。
• 過剰パラメータ化の役割を通じて、ニューラルTDの経験的成功を説明すること。

提案手法

• 価値関数をモデル化するために、過剰パラメータ化された2層ReLUネットワークを用いたニューラルTD学習を分析する。
• 部分線形レートを介して、平均二乗射影ベルヌーイ誤差（MSPBE）のグローバル最適解への収束を確立する。
• 学習中のニューラルネットワーク重みのダイナミクスを追跡する、トラジェクトリーベースの最適化フレームワークを採用する。
• ニューラルネットワークの関数空間が十分な表現力を持つように、過剰パラメータ化を活用する。
• 非凸最適化とニューラル接線カーネル（NTK）理論の技術を用いて収束バウンドを導出する。
• 分析を（ソフト）Q学習へ拡張し、ポリシー勾配の目的関数と結びつけることで、グローバル収束を示す。

実験結果

リサーチクエスチョン

• RQ1 非凸性があるにもかかわらず、ニューラルTD学習は最適価値関数へグローバルに収束するか？
• RQ2 過剰パラメータ化は、ニューラルTDのグローバル収束を可能にするために果たす役割は何か？
• RQ3 収束保証は、価値評価から（ソフト）Q学習へ拡張可能か？
• RQ4 ニューラルTDのグローバル収束は、ポリシー勾配法とどのように関連するか？

主な発見

• ニューラルTD学習は、平均二乗射影ベルヌーイ誤差のグローバル最適解へ、部分線形レートでグローバルに収束する。
• 過剰パラメータ化は、最適化の安定性を高めることで、グローバル収束を可能にする上で不可欠である。
• 収束レートは部分線形であり、過剰パラメータ化モデルにおける非凸最適化の理論的期待と整合的である。
• 分析はニューラル（ソフト）Q学習へ拡張され、同じ条件下でグローバル収束が確立された。
• ニューラルTDの収束は理論的にポリシー勾配アルゴリズムと結びついており、共通の最適化ダイナミクスを示唆している。