[论文解读] Graying the black box: Understanding DQNs

Tom Zahavy, Nir Ben Zrihem+1 more|arXiv (Cornell University)|Feb 8, 2016

Reinforcement Learning in Robotics参考文献 38被引用 58

一句话总结

本文提出一种方法，通过一种新颖的半聚合马尔可夫决策过程（SAMDP）模型，识别深度Q网络（DQN）中的分层时空抽象，从而解释DQN。通过从数据中自动学习SAMDP，作者发现DQN隐式学习了状态聚合与选项，解释了其成功的原因，并通过‘弹出’机制实现策略解释、调试与增强，使Breakout、Seaquest和Pacman的性能分别提升36%、20%和4.7%。

ABSTRACT

In recent years there is a growing interest in using deep representations for reinforcement learning. In this paper, we present a methodology and tools to analyze Deep Q-networks (DQNs) in a non-blind matter. Moreover, we propose a new model, the Semi Aggregated Markov Decision Process (SAMDP), and an algorithm that learns it automatically. The SAMDP model allows us to identify spatio-temporal abstractions directly from features and may be used as a sub-goal detector in future work. Using our tools we reveal that the features learned by DQNs aggregate the state space in a hierarchical fashion, explaining its success. Moreover, we are able to understand and describe the policies learned by DQNs for three different Atari2600 games and suggest ways to interpret, debug and optimize deep neural networks in reinforcement learning.

研究动机与目标

• 为解决深度Q网络（DQN）中存在的可解释性缺口问题，尽管其在Atari游戏中表现优异，但常被视为黑箱。
• 理解DQN如何在无显式工程设计的情况下，隐式学习分层状态抽象与选项。
• 通过分析学习到的表征与动态，开发用于调试与改进DQN策略的工具。
• 提出一种基于SAMDP模型的方法，通过检测并干预低性能行为，增强DQN策略的鲁棒性。
• 通过可解释的、数据驱动的抽象，实现对深度强化学习智能体的更好设计与优化。

提出的方法

• 提出半聚合马尔可夫决策过程（SAMDP），作为真实MDP的近似，以捕捉状态动态与时间抽象。
• 使用状态表征与转移动态的聚类，从DQN的经验回放数据中自动学习SAMDP模型。
• 对DQN学习到的特征进行k-means聚类，以识别状态簇，随后推断各簇的转移矩阵与奖励结构。
• 使用向量均方误差（VMSE）和贪婪策略与高/低奖励轨迹之间的相关性等指标评估SAMDP模型。
• 实现一种‘弹出’机制，当测试轨迹更可能源自低奖励（最低k个）轨迹而非高奖励轨迹时，触发干预。
• 应用SAMDP模型检测策略退化，并在关键状态下将控制权交还人类或上级智能体，从而在不重新训练的情况下提升整体性能。

实验结果

研究问题

• RQ1 DQN如何在无显式监督或工程设计的情况下，隐式学习分层状态抽象与选项？
• RQ2 我们能否自动从DQN表征中发现一种结构化、可解释的环境模型，以解释策略行为？
• RQ3 所学习的SAMDP模型在多大程度上可用于解释、调试与改进DQN策略？
• RQ4 SAMDP模型能否检测到DQN策略可能失败的时刻，从而实现干预以提升鲁棒性？
• RQ5 当结合SAMDP模型自动检测低性能行为时，DQN策略的性能提升程度如何？

主要发现

• DQN通过将状态空间映射到不同子流形，使不同特征主导，从而学习分层状态抽象，支持局部策略学习。
• SAMDP模型成功捕捉了具有明确定义起始与终止条件的时间抽象与选项，解释了DQN在复杂环境中的成功。
• 贪婪策略与高奖励轨迹之间的相关性显著高于与低奖励轨迹的相关性，验证了模型区分高质量行为的能力。
• 当行为更符合低奖励轨迹时触发的‘弹出’机制，使Breakout、Seaquest和Pacman的性能分别提升36%、20%和4.7%，且无需重新训练。
• SAMDP模型通过从神经激活中推导出的可解释逻辑规则，实现了对DQN策略的解释，增强了调试与设计洞察。
• 该方法提供了一种框架，可更有效地分配学习资源，例如通过识别高价值状态簇，与优先经验回放相结合。