[论文解读] Diagnosing Bottlenecks in Deep Q-learning Algorithms

Justin Fu, Aviral Kumar+2 more|arXiv (Cornell University)|Feb 26, 2019

Adversarial Robustness in Machine Learning被引用 34

一句话总结

本文使用带 oracle 求解器的单元测试框架来分析 Q-learning 中的函数逼近、采样和非平稳性，结果显示大规模网络有助于稳定性，回放和提前停止可以缓解过拟合，并提出一种对抗性特征匹配采样方法。

ABSTRACT

Q-learning methods represent a commonly used class of algorithms in reinforcement learning: they are generally efficient and simple, and can be combined readily with function approximators for deep reinforcement learning (RL). However, the behavior of Q-learning methods with function approximation is poorly understood, both theoretically and empirically. In this work, we aim to experimentally investigate potential issues in Q-learning, by means of a "unit testing" framework where we can utilize oracles to disentangle sources of error. Specifically, we investigate questions related to function approximation, sampling error and nonstationarity, and where available, verify if trends found in oracle settings hold true with modern deep RL methods. We find that large neural network architectures have many benefits with regards to learning stability; offer several practical compensations for overfitting; and develop a novel sampling method based on explicitly compensating for function approximation error that yields fair improvement on high-dimensional continuous control domains.

研究动机与目标

• 研究函数逼近如何影响 Q-learning 的收敛性和次优性。
• 量化采样误差和过拟合对 Q-learning 表现的影响。
• 考察来自移动目标和分布漂移的非平稳性及其与学习稳定性的关系。
• 探索采样分布和加权方案以提高学习效率和稳定性。

提出的方法

• 将 Exact-FQI、Sampling-FQI 和 Replay-FQI 作为逐步更贴近现实的 Q-learning 变体引入。
• 使用带有 oracle 动力学和奖励的单元测试框架来分离错误源。
• 在带有 oracle Q-values 的表格域以及高维连续控制任务上进行评估。
• 在受控条件下测量收敛性、投影偏差和分布漂移。
• 测试多种加权分布（如 Unif、on-policy、Replay），并提出对抗性特征匹配（AFM）。
• 比较有无回放缓冲区以及类 oracle 的提前停止下的性能。

实验结果

研究问题

• RQ1 函数逼近能力如何影响 Q-learning 的收敛性和偏差？
• RQ2 在 Q-learning 框架中采样误差和过拟合的经验影响是什么？
• RQ3 移动目标与分布漂移是否在实际中因果地驱动不稳定性？
• RQ4 哪些采样/加权分布可以最大化学习速度和最终性能？
• RQ5 像对抗性特征匹配这样的新颖采样方案是否能改善高维 Q-learning？

主要发现

• 对高容量函数近似器来说，函数逼近误差并不是主要问题，发散也很少见（他们的实验中为 0.9%）。
• 由于样本有限而导致的过拟合降低了性能，回放缓冲区通过改善覆盖率来缓解。
• 尽管有过拟合风险，较大的神经网络仍带来更好的学习稳定性和最终性能。
• 在采样方案中，高熵和更广的分布可以提高性能；on-policy 并不总是最佳；回放缓冲区降低了分布漂移。
• 对抗性特征匹配（AFM）提供了一种实用的高熵采样方法，可以补偿函数逼近误差，并与研究中报道的改进相吻合。