[論文レビュー] A Theoretical Analysis of Deep Q-Learning

Jianqing Fan, Zhaoran Wang+2 more|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics参考文献 143被引用数 131

ひとこと要約

tldr: 本論文は Deep Q-Networks (DQN) の簡略化の初の理論的収束解析を提供し、アルゴリズム的および統計的な収束速度を導出し、ゼロ和マルコフゲームに対する Minimax-DQN へフレームワークを拡張する。

ABSTRACT

Despite the great empirical success of deep reinforcement learning, its theoretical foundation is less well understood. In this work, we make the first attempt to theoretically understand the deep Q-network (DQN) algorithm (Mnih et al., 2015) from both algorithmic and statistical perspectives. In specific, we focus on a slight simplification of DQN that fully captures its key features. Under mild assumptions, we establish the algorithmic and statistical rates of convergence for the action-value functions of the iterative policy sequence obtained by DQN. In particular, the statistical error characterizes the bias and variance that arise from approximating the action-value function using deep neural network, while the algorithmic error converges to zero at a geometric rate. As a byproduct, our analysis provides justifications for the techniques of experience replay and target network, which are crucial to the empirical success of DQN. Furthermore, as a simple extension of DQN, we propose the Minimax-DQN algorithm for zero-sum Markov game with two players. Borrowing the analysis of DQN, we also quantify the difference between the policies obtained by Minimax-DQN and the Nash equilibrium of the Markov game in terms of both the algorithmic and statistical rates of convergence.

研究の動機と目的

• 経験的な成功を超えた深層Q学習（DQN）の理論的理解の必要性を動機づける。
• 経験リプレイやターゲットネットワークのような重要な特徴を保持するDQNの扱いやすい簡略化を分析する。
• ニューラルネットワーク近似下での作用価値関数に対し、アルゴリズム的（収束）および統計的（バイアス・分散）速度を確立する。
• 経験リプレイやターゲットネットワークなどの技術的な正当化を提供する。
• 2人零和マルコフゲームのMinimax-DQNアルゴリズムへフレームワークを拡張し、サブ最適性と収束を定量化する。

提案手法

• DQNをReLUネットワークと大規模バッチレジームを用いた神経フィットQ反復（FQI）としてモデル化する。
• experience replayを単純化する独立性仮定を導入し、独立同分布（i.i.d.）サンプリングに近づける。
• 価値関数をスパースなReLUネットワークで表現し、ネットワークのスパース性を用いて容量を補正する。
• アルゴリズム誤差が幾何収束してゼロになることを確立するとともに、ニューラル近似から生じる統計誤差を特徴づける。
• ホlder滑らかさと複合結果を用いて、ニューラルネットによるベルマン演算子の近似誤差を分析する。
• ゼロ和マルコフゲームでNash均衡のターゲットを解くことによりMinimax-DQNへ分析を拡張し、サブ最適性を上限化する。

実験結果

リサーチクエスチョン

• RQ1 扱いやすく理論的に解析可能な設定の下で、DQNのアルゴリズム的および統計的収束特性は何か。
• RQ2 経験リプレイとターゲットネットワークは、理論的観点からDQNの安定性と収束にどのように寄与するか。
• RQ3 DQNフレームワークをゼロ和マルコフゲームへ拡張できるか、収束およびサブ最適性保証は何か。
• RQ4 スパースなReLUネットワークとHölder滑らかさの使用が、ニューラルFQIの収束速度に与える影響は何か。
• RQ5 深層ネットワークで近似されたベルマン演算子の解釈に対して、神経FQI分析はどのような情報を提供するか。

主な発見

• ReLUネットワークを用いた神経FQIアルゴリズムは、ニューラル近似と有限サンプルによる統計誤差を伴い、アルゴリズム誤差が幾何的に最適Q-functionへ収束する。
• Experience replayとターゲットネットワークは、回帰目的をベルマン最適性と整合させる安定化成分として理論的に正当化される。
• 統計誤差は、有限データとネットワーク容量の下でQ*をニューラルネットワークで近似する際のバイアスと分散を捉える。
• 穏やかな仮定の下で、列QKによって推定される作用価値関数は、ReLUネットワークの近似能力とサンプルサイズによって決定される内部誤差まで収束する。
• 二人零和マルコフゲームへのMinimax-DQN拡張は、類似のアルゴリズム的・統計的収束速度をもたらし、Nash均衡方針に対するサブ最適性を上限化する。