[论文解读] A Theoretical Analysis of Deep Q-Learning

Jianqing Fan, Zhaoran Wang+2 more|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics参考文献 143被引用 131

一句话总结

本文提供了深度Q网络（DQN）简化的首次理论收敛分析，推导算法与统计率，并将框架扩展到零和马尔可夫游戏的 Minimax-DQN。

ABSTRACT

Despite the great empirical success of deep reinforcement learning, its theoretical foundation is less well understood. In this work, we make the first attempt to theoretically understand the deep Q-network (DQN) algorithm (Mnih et al., 2015) from both algorithmic and statistical perspectives. In specific, we focus on a slight simplification of DQN that fully captures its key features. Under mild assumptions, we establish the algorithmic and statistical rates of convergence for the action-value functions of the iterative policy sequence obtained by DQN. In particular, the statistical error characterizes the bias and variance that arise from approximating the action-value function using deep neural network, while the algorithmic error converges to zero at a geometric rate. As a byproduct, our analysis provides justifications for the techniques of experience replay and target network, which are crucial to the empirical success of DQN. Furthermore, as a simple extension of DQN, we propose the Minimax-DQN algorithm for zero-sum Markov game with two players. Borrowing the analysis of DQN, we also quantify the difference between the policies obtained by Minimax-DQN and the Nash equilibrium of the Markov game in terms of both the algorithmic and statistical rates of convergence.

研究动机与目标

• 动机：需要对深度Q学习（DQN）在经验成功之外的理论理解的必要性。
• 分析一个可处理的DQN简化版本，保留经验回放和目标网络等关键特征。
• 在神经网络近似下，为动作值函数建立算法（收敛性）和统计（偏差-方差）速率。
• 为经验回放和目标网络等技术提供理论依据。
• 将该框架扩展到两人零和马尔可夫博弈中的 Minimax-DQN 算法，并量化次优性与收敛性。

提出的方法

• 将DQN建模为带有ReLU网络的神经拟合Q迭代（FQI），并在大批量训练模式。
• 引入独立性假设以简化经验回放，使其更接近独立同分布（i.i.d.）采样。
• 用稀疏ReLU网络表示价值函数，并通过网络稀疏性来界定其容量。
• 建立算法误差对零的几何收敛，同时刻画来自神经近似的统计误差。
• 利用 Hölder 平滑性及复合性结果来分析带神经网络的贝尔曼算子近似误差。
• 通过在零和马尔可夫博弈中求解纳什均衡目标并界定次优性，将分析扩展到 Minimax-DQN。

实验结果

研究问题

• RQ1 在一个可处理、易理论分析的设定下，DQN 的算法收敛性和统计收敛性性质是什么？
• RQ2 从理论角度看，经验回放和目标网络如何提升DQN的稳定性与收敛性？
• RQ3 DQN框架能否扩展到零和马尔可夫博弈？其收敛性和次优性保证是什么？
• RQ4 使用稀疏ReLU网络和 Hölder 平滑性对神经FQI的收敛速率有何影响？
• RQ5 神经FQI分析如何帮助解释用深度网络近似贝尔曼算子时的含义？

主要发现

• 带ReLU网络的神经FQI算法在算法误差上以几何速度收敛到最优Q函数，直至由神经近似和有限样本导致的统计误差为止。
• 经验回放和目标网络在理论上被证明是稳定化组件，使回归目标与Bellman最优性对齐。
• 统计误差捕捉了在有限数据和网络容量下用神经网络近似Q*时的偏差和方差。
• 在温和假设下，由序列QK估计的动作值函数收敛，至一个由ReLU网络近似能力和样本量决定的内在误差为止。
• 扩展到两人零和马尔可夫博弈的Minimax-DQN得到类似的算法和统计收敛速率，并对相对于纳什均衡策略的次优性给出界限。