[论文解读] Exploration and preference satisfaction trade-off in reward-free learning

Noor Sajid, Panagiotis Tigas+3 more|arXiv (Cornell University)|Jun 8, 2021

Reinforcement Learning in Robotics参考文献 56被引用 11

一句话总结

本文提出 Pepper，一种用于贝叶斯智能体的无奖励偏好学习机制，通过共轭先验推断状态与结果偏好，实现探索与偏好满足之间的平衡。该机制从环境交互中学习偏好，无需外部奖励信号，使智能体在动荡环境中自适应探索，在稳定环境中则实现利用，展示了在模拟环境中内在好奇心与目标导向行为之间自我调节的权衡。

ABSTRACT

Biological agents have meaningful interactions with their environment despite the absence of immediate reward signals. In such instances, the agent can learn preferred modes of behaviour that lead to predictable states -- necessary for survival. In this paper, we pursue the notion that this learnt behaviour can be a consequence of reward-free preference learning that ensures an appropriate trade-off between exploration and preference satisfaction. For this, we introduce a model-based Bayesian agent equipped with a preference learning mechanism (pepper) using conjugate priors. These conjugate priors are used to augment the expected free energy planner for learning preferences over states (or outcomes) across time. Importantly, our approach enables the agent to learn preferences that encourage adaptive behaviour at test time. We illustrate this in the OpenAI Gym FrozenLake and the 3D mini-world environments -- with and without volatility. Given a constant environment, these agents learn confident (i.e., precise) preferences and act to satisfy them. Conversely, in a volatile setting, perpetual preference uncertainty maintains exploratory behaviour. Our experiments suggest that learnable (reward-free) preferences entail a trade-off between exploration and preference satisfaction. Pepper offers a straightforward framework suitable for designing adaptive agents when reward functions cannot be predefined as in real environments.

研究动机与目标

• 开发一种无奖励框架，使智能体在无预设奖励信号的情况下学习自适应偏好。
• 在动态环境中建模探索（内在动机）与偏好满足（稳态动机）之间的权衡。
• 使智能体能够基于环境交互自主发展并更新偏好，采用贝叶斯推断方法。
• 证明即使在缺乏外部奖励的情况下，偏好学习仍可驱动自适应行为。
• 提供一种灵活、基于模型的机制，兼容主动推理与深度强化学习框架。

提出的方法

• Pepper 使用共轭先验，从智能体-环境交互中学习对状态或结果的偏好，每次短时探索后更新信念。
• 该方法与期望自由能（EFE）规划目标集成，使智能体能够平衡内在好奇心与偏好驱动行为。
• 采用两步流程：首先，智能体与环境交互以收集观测与隐状态历史；其次，利用共轭先验进行贝叶斯推断，更新先验偏好。
• 生成模型首先进行训练，随后在推理阶段进行偏好学习，使智能体能够基于学习到的偏好采取行动。
• 共轭先验实现了高效的、摊销化的偏好学习，其突触可塑性类更新反映了经验依赖的学习过程。
• 该框架兼容深度主动推理智能体，亦可适配其他贝叶斯强化学习方法，如 MaxEnt 或 Dreamer。

实验结果

研究问题

• RQ1 智能体如何在无外部奖励信号的情况下学习平衡探索与偏好满足？
• RQ2 共轭先验在贝叶斯框架中如何实现高效、自适应的偏好学习？
• RQ3 环境的波动性如何影响无奖励智能体中探索性与利用性行为的出现？
• RQ4 偏好学习是否能在不同环境条件下催生截然不同且稳定的策略？
• RQ5 无奖励机制在多大程度上可生成自适应、自我证实的行为？

主要发现

• 在稳定环境中，使用 Pepper 的智能体发展出精确且自信的偏好，并随时间减少探索行为。
• 在动荡环境中，偏好中的持续不确定性维持了探索行为，防止过早利用。
• 在动荡环境中，状态与奖励分布的熵保持高位，表明持续的不确定性与持续的探索。
• 采用状态偏好学习的智能体（公式 5）表现出明显不同的轨迹，常朝向并停留在偏好状态附近（如灰色墙壁），经可视化路径验证。
• 共轭先验的使用实现了高效的、经验依赖的可塑性，其类似突触的更新反映了累积观测结果。
• 移除累积的狄利克雷参数（代表偏好）后，智能体始终表现出探索行为，验证了偏好不确定性在维持探索中的关键作用。