[论文解读] Hallucinating Value: A Pitfall of Dyna-style Planning with Imperfect Environment Models

Taher Jafferjee, Ehsan Imani+3 more|arXiv (Cornell University)|Jun 8, 2020

Reinforcement Learning in Robotics参考文献 18被引用 6

一句话总结

本文识别出‘幻觉状态’——即由不完善的环境模型生成的、在真实环境中并不存在的模拟状态——作为Dyna风格规划中的关键故障模式。本文提出幻觉价值假设（HVH），表明将真实状态的价值更新为任意幻觉状态的价值会降低策略性能。实验表明，标准Dyna变体在模型错误下会失效，而新提出的多步前驱Dyna算法可避免此类更新，保持鲁棒性能。

ABSTRACT

Dyna-style reinforcement learning (RL) agents improve sample efficiency over model-free RL agents by updating the value function with simulated experience generated by an environment model. However, it is often difficult to learn accurate models of environment dynamics, and even small errors may result in failure of Dyna agents. In this paper, we investigate one type of model error: hallucinated states. These are states generated by the model, but that are not real states of the environment. We present the Hallucinated Value Hypothesis (HVH): updating values of real states towards values of hallucinated states results in misleading state-action values which adversely affect the control policy. We discuss and evaluate four Dyna variants; three which update real states toward simulated -- and therefore potentially hallucinated -- states and one which does not. The experimental results provide evidence for the HVH thus suggesting a fruitful direction toward developing Dyna algorithms robust to model error.

研究动机与目标

• 研究Dyna风格规划中的模型误差如何导致策略性能下降。
• 识别一种特定故障模式：价值函数更新被不存在（幻觉）状态的价值所污染。
• 检验假设：将真实状态价值更新为幻觉状态价值会误导控制策略。
• 设计一种Dyna算法，避免基于幻觉状态更新真实状态。
• 评估Dyna变体在不完美环境模型下的鲁棒性。

提出的方法

• 提出幻觉价值假设（HVH）：来自幻觉状态的价值更新会误导真实状态价值，从而损害策略学习。
• 基于模型使用方向（前向/后向）和更新类型（单步/多步）设计四种Dyna变体，其差异在于是否将真实状态更新为模拟状态。
• 提出多步前驱Dyna，一种新算法，通过使用前驱状态而非模拟转移来避免基于幻觉状态更新真实状态。
• 采用优先级规划队列并引入衰减优先级（$\beta^n$），以减少滚动过程中模型误差的累积。
• 使用自定义环境Borderworld，以隔离并展示幻觉价值效应。
• 在标准基准环境上评估算法，以检验该故障模式的持续性。

实验结果

研究问题

• RQ1 在Dyna风格规划中，将真实状态价值更新为幻觉状态价值是否会导致策略性能下降？
• RQ2 即使误差很小，能生成不存在状态的模型错误是否仍会导致价值函数持续污染？
• RQ3 标准Dyna变体是否因幻觉价值更新而在不完美模型下失效？
• RQ4 能否设计一种Dyna算法，避免基于幻觉状态更新真实状态，从而提升鲁棒性？
• RQ5 该故障模式是否在标准基准环境（如MountainCar和CartPole）中持续存在，而不仅限于玩具领域？

主要发现

• 实证支持幻觉价值假设：在更新真实状态价值时依赖幻觉状态价值的Dyna智能体表现出性能下降。
• 即使真实经验准确，标准Dyna变体在环境模型生成少量幻觉状态时也会失效。
• 多步前驱Dyna算法通过避免基于幻觉状态更新真实状态，在模型错误下仍能保持稳定学习。
• 该故障模式在MountainCar和CartPole等标准基准环境中持续存在，表明其不限于玩具领域。
• 来自幻觉状态的价值函数更新无法通过真实经验纠正，因为智能体无法直接到达或更新这些状态。
• 在规划优先级中使用$\beta^n$衰减可减少但无法完全消除误差累积，凸显了对替代设计原则的需求。