[论文解读] Interactive Visualization for Debugging RL

Shuby Deshpande, Benjamin Eysenbach+1 more|arXiv (Cornell University)|Aug 14, 2020

Reinforcement Learning in Robotics参考文献 32被引用 5

一句话总结

本文介绍了 Vizarel，一个用于调试和理解强化学习（RL）策略的交互式可视化系统，通过实时交互轨迹、回放缓冲区和轨迹数据，使研究人员能够探索智能体行为、状态访问情况以及学习动态。其主要贡献是一个支持评估性与生成性调试的框架——例如识别高TD误差状态和动作模式——超越了现有工具的描述性能力。

ABSTRACT

Visualization tools for supervised learning allow users to interpret, introspect, and gain an intuition for the successes and failures of their models. While reinforcement learning practitioners ask many of the same questions, existing tools are not applicable to the RL setting as these tools address challenges typically found in the supervised learning regime. In this work, we design and implement an interactive visualization tool for debugging and interpreting RL algorithms. Our system addresses many features missing from previous tools such as (1) tools for supervised learning often are not interactive; (2) while debugging RL policies researchers use state representations that are different from those seen by the agent; (3) a framework designed to make the debugging RL policies more conducive. We provide an example workflow of how this system could be used, along with ideas for future extensions.

研究动机与目标

• 解决缺乏支持调试的交互式、RL专用可视化工具的问题，超越静态指标和描述性仪表板。
• 使研究人员能够探索智能体行为、状态访问情况以及学习动态在训练过程中的演变过程。
• 提供评估性和生成性功能，以帮助识别失败模式、高方差状态以及策略行为异常。
• 通过允许对轨迹和回放缓冲数据进行交互式查询，弥合研究人员直觉与智能体内部机制之间的差距。
• 设计一个可集成到RL训练工作流中的系统，并通过视觉洞察支持迭代策略优化。

提出的方法

• 实现一个多视图界面，包含专门用于轨迹、状态、回放缓冲区和动作分布的视图。
• 通过悬停、选择和过滤等实时交互功能，探索轨迹和状态空间中的兴趣区域。
• 可视化关键的RL指标，如TD误差、累积奖励和动作方差，覆盖时间和状态空间。
• 支持沿智能体轨迹比较TD误差，以识别导致不稳定或高误差的动作序列。
• 集成状态嵌入和动作分布等数据流，以支持在高维状态空间中检测模式。
• 设计一个可扩展框架，可支持新数据类型（如显著性图）和无可视化组件的领域（如医疗保健、教育）。

实验结果

研究问题

• RQ1 交互式可视化如何在超越静态指标和描述性仪表板的基础上，提升RL策略的调试能力？
• RQ2 哪些交互功能是必要的，以帮助研究人员理解状态动态与策略结果之间的因果关系？
• RQ3 对回放缓冲区和轨迹的可视化探索能否揭示高TD误差或动作方差的持久模式，从而提示算法问题？
• RQ4 可视化如何支持生成性调试——引导研究人员基于观察到的行为设计有针对性的干预措施？
• RQ5 交互式工具在RL训练过程中早期检测失败模式或分布偏移方面，能发挥什么作用？

主要发现

• Vizarel使研究人员能够识别DDPG训练的HalfCheetah策略中高方差的TD误差，提示批评者存在过估计偏差。
• 轨迹视图中的交互式悬停和比较功能，使用户能够将特定动作序列与TD误差的峰值相关联。
• 在回放缓冲区空间中对高TD误差状态进行聚类，揭示了持久模式，可能表明存在分布偏移或泛化能力差的问题。
• 分布视图有助于检测动作或奖励方差较高的区域，提示可采用方差减少技术。
• 该系统通过将视觉模式与算法改进关联，提供可操作的洞察，例如使用可缓解过估计的算法。
• 该框架具有可扩展性，目前正在开发显著性图支持、回放缓冲区搜索功能，并集成到更广泛的RL工具生态系统中。