[論文レビュー] A Finite-Time Analysis of Q-Learning with Neural Network Function Approximation

Pan Xu, Quanquan Gu|arXiv (Cornell University)|Dec 10, 2019

Reinforcement Learning in Robotics被引用数 18

ひとこと要約

本稿は、非i.i.d.なデータから生成されるマルコフ決定過程（MDP）からの学習において、深層ReLUニューラルネットワークによる関数近似を用いたQ学習の、初めての有限時間解析を提示する。ネットワークが十分に過パラメータ化されている場合、最適Q値関数への収束速度が$O(1/\sqrt{T})$であることが確立され、線形関数近似の結果と一致し、現実的な強化学習設定における深層ニューラルネットワークへの理論的保証を拡張する。

ABSTRACT

Q-learning with neural network function approximation (neural Q-learning for short) is among the most prevalent deep reinforcement learning algorithms. Despite its empirical success, the non-asymptotic convergence rate of neural Q-learning remains virtually unknown. In this paper, we present a finite-time analysis of a neural Q-learning algorithm, where the data are generated from a Markov decision process and the action-value function is approximated by a deep ReLU neural network. We prove that neural Q-learning finds the optimal policy with $O(1/\\sqrt{T})$ convergence rate if the neural function approximator is sufficiently overparameterized, where $T$ is the number of iterations. To our best knowledge, our result is the first finite-time analysis of neural Q-learning under non-i.i.d. data assumption.

研究の動機と目的

• 非i.i.d.環境における深層Q学習の実績的成功と理論的理解の間のギャップを埋めること。
• 現実的なマルコフ決定過程（MDP）のデータ生成プロセス下で、深層ニューラルネットワークによる関数近似を用いたQ学習の有限時間収束解析を提供すること。
• 非線形的で深いネットワークの追加の複雑さにもかかわらず、線形関数近似の既知の収束速度と一致する神経的Q学習の収束速度を確立すること。
• 従来の理論的研究で一般的に見られる不切実なi.i.d.データの仮定を緩和すること。

提案手法

• 時系列差分（TD）更新を用いたQ学習フレームワークにおいて、深層ReLUニューラルネットワークを用いて行動価値関数を近似する。
• TD誤差を用いて勾配降下法によりネットワーク重みを更新し、MDPから抽出された軌道に基づいてネットワークを学習する。
• 重み更新のダイナミクスを分析するために、初期化周辺でのニューラルネットワークの局所線形化を採用する。
• 過パラメータ化されたネットワークを扱うために、ニューラル接線カーネル（NTK）の枠組みに基づく新しい解析フレームワークを導入する。
• パrameter空間の幾何構造と収束行動を特徴付けるために、マハラノビスノルムと経験的共分散行列を用いる。
• NTKの性質と過パラメータ化の仮定を活用して、期待TD更新に関する類似収縮不等式を確立する。

実験結果

リサーチクエスチョン

• RQ1 非i.i.d.データ下で、深層ニューラルネットワークによる関数近似を用いたQ学習に対して、有限時間収束速度を確立できるか？
• RQ2 非線形的で深いアーキテクチャを有するにもかかわらず、神経的Q学習の収束速度は線形関数近似のそれと一致するか？
• RQ3 過パラメータ化は、非i.i.d.設定下での深層Q学習の収束を保証するためにどのような役割を果たすか？
• RQ4 この解析は、Q学習における深層ニューラルネットワークの非凸性と非線形ダイナミクスをどのように扱っているか？

主な発見

• ネットワークが十分に過パラメータ化されている場合、神経的Q学習は最適Q値関数への$O(1/\sqrt{T})$の収束速度を達成する。
• 非i.i.d.データと非線形関数近似の下でも、定常ステップサイズを用いたTD学習における線形関数近似の最高水準の収束速度と一致する。
• 従来の研究とは異なり、不切実なi.i.d.データの仮定を排除し、現実的なMDPのデータ生成プロセス下で成立する。
• ネットワークが十分に広いため、トレーニング中にほぼ線形のダイナミクスを維持するニューラル接線カーネル（NTK）の枠組み下で結果が確立される。
• 収束は、ニューラルネットワーク関数クラスの近似誤差の範囲内で最適Q値関数に達する。
• この解析は、DQNのような深層Q学習アルゴリズムが複雑な環境で実績的に成功する理由を理論的に裏付ける。