[论文解读] Never Forget: Balancing Exploration and Exploitation via Learning Optical Flow

Hsuan-Kung Yang, Po-Han Chiang+3 more|arXiv (Cornell University)|Jan 24, 2019

Reinforcement Learning in Robotics参考文献 35被引用 7

一句话总结

本文提出基于流的内在好奇心模块（FICM），利用光流估计误差来衡量深度强化学习中状态新颖性，以实现探索。通过利用光流追踪视觉运动一致性，FICM 减少了灾难性遗忘，使智能体能够在稀疏奖励环境中高效探索，并长期保持稳定性能，不会随时间出现性能下降。

ABSTRACT

Exploration bonus derived from the novelty of the states in an environment has become a popular approach to motivate exploration for deep reinforcement learning agents in the past few years. Recent methods such as curiosity-driven exploration usually estimate the novelty of new observations by the prediction errors of their system dynamics models. Due to the capacity limitation of the models and difficulty of performing next-frame prediction, however, these methods typically fail to balance between exploration and exploitation in high-dimensional observation tasks, resulting in the agents forgetting the visited paths and exploring those states repeatedly. Such inefficient exploration behavior causes significant performance drops, especially in large environments with sparse reward signals. In this paper, we propose to introduce the concept of optical flow estimation from the field of computer vision to deal with the above issue. We propose to employ optical flow estimation errors to examine the novelty of new observations, such that agents are able to memorize and understand the visited states in a more comprehensive fashion. We compare our method against the previous approaches in a number of experimental experiments. Our results indicate that the proposed method appears to deliver superior and long-lasting performance than the previous methods. We further provide a set of comprehensive ablative analysis of the proposed method, and investigate the impact of optical flow estimation on the learning curves of the DRL agents.

研究动机与目标

• 解决基于 curiosity 的探索方法在深度强化学习中的灾难性遗忘问题。
• 改善在高维、稀疏奖励环境中智能体反复访问已探索状态时的探索效率。
• 开发一种更鲁棒的内在奖励机制，以更好地保留对已访问状态的记忆。
• 通过使用光流估计误差作为状态新颖性的代理，实现探索与利用的平衡。

提出的方法

• 提出 FICM，一种基于连续帧之间光流预测误差计算内在奖励的 curiosity 模块。
• 使用光流预测器估计状态 $ S_t $ 与 $ S_{t+1} $ 之间的运动，其误差作为新颖性信号。
• 采用两种变体：FICM-S（使用单帧光流预测器）和 FICM-C（使用光流一致性损失以提升鲁棒性）。
• 将基于光流的内在奖励集成到 A3C 算法中，用于在 ViZDoom 等稀疏奖励环境中训练智能体。
• 利用光流检测视觉运动不一致性，比帧预测更可靠地识别新颖或已访问状态。
• 减少对下一帧预测的依赖，后者在标准 ICM 中易出错并导致遗忘。

实验结果

研究问题

• RQ1 光流估计误差能否作为深度强化学习中衡量状态新颖性的更稳定、更可靠信号？
• RQ2 与基于传统帧预测的方法相比，使用光流是否能减少 curiosity 驱动探索中的灾难性遗忘？
• RQ3 在稀疏奖励环境中，所提出的 FICM 方法与 ICM 和 RND 相比，在探索效率和长期性能方面表现如何？
• RQ4 光流对长时间训练周期内已探索状态的稳定性和可记忆性有何影响？
• RQ5 FICM 是否能在参数量更少的情况下实现优于 ICM 的性能，同时避免因遗忘导致的性能下降？

主要发现

• 基于 FICM 的智能体在稀疏和极稀疏奖励设置下均未出现随时间的性能下降，而 ICM 在 1000 万 timestep 后出现灾难性遗忘。
• FICM-S 和 FICM-C 变体在性能上均稳定且优于 ICM 和 ICM-pixels，其中 FICM-S 所用参数量仅为 ICM 的 55.89%。
• 内在奖励演化图显示，FICM 正确将已访问状态识别为低新颖性，避免重复探索，而 ICM 在长期训练后将旧状态误判为新颖。
• FICM-C 和 FICM-S 的参数量显著低于 ICM（分别为 78.84% 和 55.89%），尽管其性能更优。
• ICM-pixels 尽管参数量更少（为 ICM 的 43.53%），但在极稀疏奖励设置下仍失败，凸显了像素级预测的局限性。
• 消融分析证实，光流估计提升了记忆能力并减少了遗忘，使探索具备终身学习能力。