[论文解读] Learning Finite State Representations of Recurrent Policy Networks

Anurag Koul, Sam Greydanus+1 more|arXiv (Cornell University)|Nov 29, 2018

Reinforcement Learning in Robotics被引用 29

一句话总结

本文提出量化瓶颈插入（Quantized Bottleneck Insertion）方法，通过使用量化潜在空间训练自编码器，将循环策略网络中的连续RNN记忆和观测向量转换为离散的Moore机，从而学习有限状态表示。该方法生成紧凑且可解释的策略模型，在保持性能的同时揭示了记忆与观测使用情况的洞察，实现极简状态表示（如Pong中仅3个记忆状态），并在合成任务中准确提取出真实结构。

ABSTRACT

Recurrent neural networks (RNNs) are an effective representation of control policies for a wide range of reinforcement and imitation learning problems. RNN policies, however, are particularly difficult to explain, understand, and analyze due to their use of continuous-valued memory vectors and observation features. In this paper, we introduce a new technique, Quantized Bottleneck Insertion, to learn finite representations of these vectors and features. The result is a quantized representation of the RNN that can be analyzed to improve our understanding of memory use and general behavior. We present results of this approach on synthetic environments and six Atari games. The resulting finite representations are surprisingly small in some cases, using as few as 3 discrete memory states and 10 observations for a perfect Pong policy. We also show that these finite policy representations lead to improved interpretability.

研究动机与目标

• 提升循环神经网络（RNN）策略的可解释性，因其高维连续记忆和观测向量难以理解。
• 解决分析RNN记忆使用的问题，这在决策中至关重要，但因复杂的门控机制而难以透明化。
• 开发一种方法，学习紧凑的有限状态RNN策略表示，在保持性能的同时支持分析。
• 识别RNN策略依赖记忆、观测或两者皆无的情况，揭示其是否采取反应式或开环控制。
• 通过提取的Moore机实现策略行为的可视化与形式化分析。

提出的方法

• 训练量化瓶颈网络（QBNs）作为自编码器，采用量化潜在表示，以编码连续的RNN记忆状态和观测向量。
• 将QBNs插入已训练的RNN中，替代连续记忆和观测的'线路'，将策略转换为具有离散状态的Moore机网络（MMN）。
• 使用'直通'梯度估计器，尽管量化步骤不可微，仍可训练QBNs。
• 通过聚类等价状态并使用标准有限状态机最小化技术，从MMN中提取Moore机。
• 对提取的Moore机进行微调，以纠正量化引入的不准确性。
• 可视化并分析所得的有限状态机，以解释记忆与观测使用模式。

实验结果

研究问题

• RQ1 我们能否学习到一种RNN策略的有限状态表示，使其在保持性能的同时具备可解释性？
• RQ2 准确表示一个训练好的RNN策略所需的最少离散记忆状态数和观测特征数是多少？
• RQ3 在哪些Atari游戏中，RNN策略主要依赖记忆、观测或两者皆无——这表明其采取反应式或开环控制？
• RQ4 该方法能否在具有受控记忆使用的合成环境中准确恢复已知的真实Moore机？
• RQ5 通过分析提取的Moore机结构，能获得关于策略行为的哪些新见解？

主要发现

• 在具有已知记忆结构的合成环境中，该方法成功提取出真实Moore机，证明了其在表示学习中的准确性。
• 在Atari游戏中，提取的Moore机在微调后与原始RNN策略保持近乎等效的性能，性能下降极小。
• 对于Pong策略，仅需3个离散记忆状态和10个观测即可实现完美性能，表明其记忆使用极为紧凑。
• 在Bowling和Freeway中，分析显示RNN几乎不使用记忆或完全忽略观测，表明其采用反应式或开环控制策略。
• 在Space Invaders和Boxing中，Moore机结构证实记忆与观测均被有意义地使用。
• 该方法使我们能够识别出从RNN运行中难以察觉的策略行为模式，例如在某些游戏中不存在有意义的记忆使用。