[論文レビュー] Neural Temporal-Difference and Q-Learning Provably Converge to Global Optima

Qi Cai, Zhuoran Yang+2 more|arXiv (Cornell University)|May 24, 2019

Reinforcement Learning in Robotics参考文献 75被引用数 15

ひとこと要約

本論文は、平均二乗投影ベルヌーイ誤差（MSPBE）のグローバル最適解への神経的時系列TD（Temporal-Difference, TD）およびQ学習アルゴリズムの非漸近的グローバル収束を初めて証明した。過剰パラメータ化された深層ニューラルネットワークを活用することで、著者らは非線形関数近似による非凸性や標準TD学習における発散の可能性にもかかわらず、収束を保証するサブ線形収束レートを確立した。これは、母集団セミ勾配を用いる場合に$1/T$、確率的セミ勾配を用いる場合に$1/\big/\text{sqrt}{T}$の収束速度を達成する。

ABSTRACT

Temporal-difference learning (TD), coupled with neural networks, is among the most fundamental building blocks of deep reinforcement learning. However, due to the nonlinearity in value function approximation, such a coupling leads to nonconvexity and even divergence in optimization. As a result, the global convergence of neural TD remains unclear. In this paper, we prove for the first time that neural TD converges at a sublinear rate to the global optimum of the mean-squared projected Bellman error for policy evaluation. In particular, we show how such global convergence is enabled by the overparametrization of neural networks, which also plays a vital role in the empirical success of neural TD. Beyond policy evaluation, we establish the global convergence of neural (soft) Q-learning, which is further connected to that of policy gradient algorithms.

研究の動機と目的

• 神経的TDおよびQ学習の実験的成功を厳密に裏付けることで、深層強化学習における理論と実践のギャップを埋めること。
• 非線形関数近似に起因する非凸性および神経的TDにおける発散の可能性という長年の課題を解決すること。
• 神経的TDおよび（ソフト）Q学習の非漸近的グローバル収束を、MSPBE目的関数のグローバル最適解へと確立すること。
• グローバル収束を示す神経的Q学習とポリシー勾配法の関係を確立することで、価値ベースとポリシーに基づく深層強化学習手法を結びつけること。
• 過剰パラメータ化が暗黙の局所線形化を可能にし、学習を安定化させ、収束を保証することを示すこと。

提案手法

• 過剰パラメータ化された多層ニューラルネットワークを用いて、最適化経路に沿った価値関数の暗黙の線形化を実現し、非線形TDにおける明示的線形化を模倣する。
• 母集団および確率的セミ勾配を用いた神経的TDの分析により、MSPBE目的関数のグローバル最適解への収束を証明する。
• 過剰パラメータ化されたネットワークにおけるセミ勾配の1点単調性という概念を導入し、非凸性下でも収束解析を可能にする。
• ランダム特徴に基づく近似と集中不等式を用いて、初期化依存項を抑え、線形化からの逸脱を制御する。
• MSPBEにおける射影が、ランダム初期化下で再生核ヒルバート空間と同等の豊かな関数表現能力を有することを確立する。
• （ソフト）Q学習とポリシー勾配アルゴリズムの関係を活用し、グローバル収束をポリシー最適化へと拡張する。

実験結果

リサーチクエスチョン

• RQ1 非凸性およびバイアス付き勾配の存在下でも、神経的TDがMSPBE目的関数のグローバル最適解に実際に収束するか？
• RQ2 過剰パラメータ化は、神経的TDの安定化とグローバル収束の実現にどのような役割を果たすか？
• RQ3 適切な条件下で、神経的（ソフト）Q学習はグローバルにMSPBE最適解へ収束するか？
• RQ4 神経的Q学習のグローバル収束は、ポリシー勾配アルゴリズムと結びつけることができるか？
• RQ5 過剰パラメータ化に起因する暗黙の局所線形化は、非線形TD学習における発散をどのように緩和するか？

主な発見

• 母集団セミ勾配を用いる場合、神経的TDはMSPBEのグローバル最適解へ$1/T$のレートでグローバルに収束する。
• 確率的セミ勾配を用いる場合、神経的TDは$1/\big/\text{sqrt}{T}$のレートで収束し、現実的なオンライン学習設定下での非漸近的収束を確立する。
• より強い正則性条件の下で、神経的（ソフト）Q学習もMSPBE最適解へ神経的TDと同等のレートでグローバルに収束する。
• 神経的Q学習のグローバル収束は、ポリシー勾配アルゴリズムの変種のグローバル収束を示唆し、価値ベースとポリシーに基づく深層強化学習手法を結びつける。
• 過剰パラメータ化により、明示的線形化がなくても発散を回避し、収束を保証する暗黙の局所線形化が可能になる。
• ランダム初期化下でのニューラルネットワークの表現力は、再生核ヒルバート空間と同等であり、広範な強化学習問題に対してMSPBEをゼロにできる。