[论文解读] Theory of Deep Q-Learning: A Dynamical Systems Perspective.

Arunselvan Ramaswamy|arXiv (Cornell University)|Aug 25, 2020

Reinforcement Learning in Robotics参考文献 17被引用 7

一句话总结

本文提出一个动力系统框架，用于在现实假设下分析深度Q学习，将训练建模为测度过程，其极限决定了长期性能。通过表征该测度过程的收敛性，解释了经验回放的优势和训练不一致性等经验现象，为具有多个平稳分布的马尔可夫过程提供了一般性理论。

ABSTRACT

Deep Q-Learning is an important algorithm, used to solve sequential decision making problems. It involves training a Deep Neural Network, called a Deep Q-Network (DQN), to approximate a function associated with optimal decision making, the Q-function. Although wildly successful in laboratory conditions, serious gaps between theory and practice prevent its use in the real-world. In this paper, we present a comprehensive analysis of the popular and practical version of the algorithm, under realistic verifiable assumptions. An important contribution is the characterization of its performance as a function of training. To do this, we view the algorithm as an evolving dynamical system. This facilitates associating a closely-related measure process with training. Then, the long-term behavior of Deep Q-Learning is determined by the limit of the aforementioned measure process. Empirical inferences, such as the qualitative advantage of using experience replay, and performance inconsistencies even after training, are explained using our analysis. Also, our theory is general and accommodates state Markov processes with multiple stationary distributions.

研究动机与目标

• 通过在可验证的现实假设下分析训练动态，弥合深度Q学习中理论与实践之间的差距。
• 解释持久存在的经验现象，如经验回放的性能优势以及训练后性能的不一致性。
• 为具有多个平稳分布的马尔可夫决策过程开发一个通用的理论框架。
• 通过研究训练过程中相关测度过程的极限，表征深度Q学习的长期行为。

提出的方法

• 将深度Q学习建模为一个演化动力系统，追踪训练过程中状态和动作分布的演化。
• 引入一个密切相关的测度过程，以捕捉学习轨迹随时间的统计行为。
• 通过研究该测度过程的极限来分析算法的长期行为，并将其与Q函数近似的收敛性联系起来。
• 利用测度过程解释经验回放为何能提升性能，即通过稳定训练数据的分布。
• 建立理论条件，证明即使在底层马尔可夫过程中存在多个平稳分布时，算法仍能收敛。
• 使用随机过程和动力系统理论的工具，形式化训练动态与最终性能之间的联系。

实验结果

研究问题

• RQ1 深度Q学习的长期性能在多大程度上取决于训练过程的演化？
• RQ2 为何在实践中经验回放始终能提升性能，且能否从理论上加以解释？
• RQ3 即使经过大量训练，深度Q学习中观察到的性能不一致性由何原因导致？
• RQ4 能否将深度Q学习的理论分析扩展到具有多个平稳分布的马尔可夫过程？
• RQ5 如何利用测度过程形式化深度Q学习的训练动态，以预测收敛行为？

主要发现

• 深度Q学习的长期行为由一个相关测度过程的极限决定，该过程追踪了训练期间的状态和动作分布。
• 该理论框架通过表明经验回放通过稳定训练分布从而实现更可预测的收敛，解释了其定性优势。
• 训练后出现的性能不一致性由测度过程的非唯一极限解释，表明存在多个可能的收敛状态。
• 该理论可容纳具有多个平稳分布的状态马尔可夫过程，扩展了以往假设唯一平稳行为的分析。
• 该分析在训练动态与最终策略质量之间建立了正式联系，为评估算法稳定性和收敛性提供了原则性方法。