[论文解读] Curiosity-driven Exploration in Sparse-reward Multi-agent Reinforcement Learning

Jiong Li, Pratik Gajane|arXiv (Cornell University)|Feb 21, 2023

Behavioral Health and Interventions被引用 4

一句话总结

本文提出 I-Go-Explore，一种新颖方法，将内在好奇心模块（ICM）与 Go-Explore 框架结合，以提升稀疏奖励多智能体强化学习中的样本效率。通过将内在好奇心与 Go-Explore 的轨迹探索相结合，该方法减少了脱离（detachment）与脱轨（derailment）现象，显著加快了训练速度并提升了性能，尤其在长时程任务中表现突出，实验表明训练时间减少了 12%，且在多智能体捕食者-猎物环境中实现了更优的累积奖励。

ABSTRACT

Sparsity of rewards while applying a deep reinforcement learning method negatively affects its sample-efficiency. A viable solution to deal with the sparsity of rewards is to learn via intrinsic motivation which advocates for adding an intrinsic reward to the reward function to encourage the agent to explore the environment and expand the sample space. Though intrinsic motivation methods are widely used to improve data-efficient learning in the reinforcement learning model, they also suffer from the so-called detachment problem. In this article, we discuss the limitations of intrinsic curiosity module in sparse-reward multi-agent reinforcement learning and propose a method called I-Go-Explore that combines the intrinsic curiosity module with the Go-Explore framework to alleviate the detachment problem.

研究动机与目标

• 解决深度强化学习在稀疏奖励多智能体环境中的样本效率低下问题。
• 克服内在好奇心模块（ICM）在探索过程中固有的脱离与脱轨问题。
• 通过将 ICM 与 Go-Explore 框架结合，提升探索效率，以维持长期轨迹多样性。
• 在部分可观察、混合合作-竞争多智能体环境中评估该方法的鲁棒性。
• 证明内在好奇心与结构化探索的结合可实现更快收敛与更优的累积奖励。

提出的方法

• 整合内在好奇心模块（ICM），基于状态转移的预测误差生成内在奖励。
• 应用 Go-Explore 框架以保留并重访高回报轨迹，防止过早放弃有前景的路径。
• 采用集中式训练、分布式执行（CTDE）设置，利用 MADDPG 进行策略优化。
• 将探索划分为阶段：智能体首先通过 ICM 驱动的好奇心进行探索，随后通过 Go-Explore 的轨迹记忆利用有前景的轨迹。
• 维护已发现的高回报轨迹记忆，以指导未来探索并减少脱离现象。
• 通过结合 ICM 的预测误差与环境提供的稀疏奖励，平衡内在与外在奖励。

实验结果

研究问题

• RQ1 将 ICM 与 Go-Explore 结合是否能缓解稀疏奖励多智能体强化学习中的脱离问题？
• RQ2 与独立使用的 ICM 相比，I-Go-Explore 框架在长时程任务中是否提升了样本效率？
• RQ3 探索阶段长度如何影响 I-Go-Explore 在部分可观察环境中的性能表现？
• RQ4 在混合合作-竞争设置下，I-Go-Explore 相较于 ICM 在训练时间与累积奖励方面有多大的性能优势？
• RQ5 将内在好奇心与基于轨迹的探索相结合，是否能带来更稳定且可扩展的复杂多智能体环境学习？

主要发现

• 与 ICM 相比，I-Go-Explore 将训练时间减少了约 12%，在相同硬件上，I-Go-Explore 用时 15,805 秒，而 ICM 为 18,005 秒。
• I-Go-Explore 中的猎物智能体获得了显著更高的平均奖励（-268.83），相较于 ICM 的 -786.62，表明其具备更优的逃脱与生存策略。
• I-Go-Explore 中的捕食者智能体平均奖励为 8.88，高于 ICM 的 16.76，表明其协作与追捕效率得到提升。
• 在短期训练（10 步）中，ICM 对猎物的性能略胜 I-Go-Explore，但在长期训练（20 步）中，I-Go-Explore 展现出更优且更稳定的性能。
• 探索阶段较短（10 步）的 I-Go-Explore 表现优于探索阶段更长的 I-Go-Explore 及 ICM，表明过度的任意探索可能损害策略学习。
• 该方法通过保留并重用高回报轨迹，成功减少了脱离现象，使智能体能够在多轮训练中持续保持进展。