[论文解读] Intent-aware Multi-agent Reinforcement Learning

Siyuan Qi, Song‐Chun Zhu|arXiv (Cornell University)|Mar 6, 2018

Reinforcement Learning in Robotics参考文献 40被引用 3

一句话总结

该论文提出了一种意图感知的多智能体强化学习框架，通过建模其他智能体的意图和内在价值，在目标空间中进行规划，以最大化期望效用。该方法采用线性函数逼近实现高效且收敛的学习，并在动态、非周期性的多智能体场景中展现出类人的合作行为和优越性能，具备现实世界中的可迁移性。

ABSTRACT

This paper proposes an intent-aware multi-agent planning framework as well as a learning algorithm. Under this framework, an agent plans in the goal space to maximize the expected utility. The planning process takes the belief of other agents' intents into consideration. Instead of formulating the learning problem as a partially observable Markov decision process (POMDP), we propose a simple but effective linear function approximation of the utility function. It is based on the observation that for humans, other people's intents will pose an influence on our utility for a goal. The proposed framework has several major advantages: i) it is computationally feasible and guaranteed to converge. ii) It can easily integrate existing intent prediction and low-level planning algorithms. iii) It does not suffer from sparse feedbacks in the action space. We experiment our algorithm in a real-world problem that is non-episodic, and the number of agents and goals can vary over time. Our algorithm is trained in a scene in which aerial robots and humans interact, and tested in a novel scene with a different environment. Experimental results show that our algorithm achieves the best performance and human-like behaviors emerge during the dynamic process.

研究动机与目标

• 开发一种计算上可行、可收敛的多智能体强化学习框架，整合意图推理以提升决策能力。
• 将意图预测与高层规划解耦，以实现与现有算法的集成，避免部分可观察马尔可夫决策过程（POMDP）的复杂性。
• 在动态、非平稳环境中，实现类人社会行为（如合作与竞争）的涌现。
• 设计一种对稀疏反馈具有鲁棒性、并能适应不同数量智能体与目标的可学习方法。

提出的方法

• 该框架通过基于对其他智能体意图和内在价值的信念，估计目标的期望效用，在目标空间中进行规划。
• 采用效用函数的线性函数逼近，定义为 U(g, b) = θᵀφ(g, b)，其中 φ 是结合目标与信念表征的特征向量。
• 学习算法使用 Sarsa 与 ϵ-greedy 探索策略，根据智能体进入建筑物的稀疏奖励更新参数向量 θ。
• 意图信念通过观察到的行为进行更新，可使用贝叶斯方法、最大似然估计或通信机制计算。
• 该方法将低层规划、意图预测与高层推理解耦，实现现有算法的模块化集成。
• 通过将信念更新与策略学习分离，避免了 POMDP 的计算不可行性。

实验结果

研究问题

• RQ1 如何在整合意图推理的同时，使多智能体强化学习在计算上可行？
• RQ2 意图感知的规划是否能在动态环境中催生类人的合作与竞争行为？
• RQ3 如何有效整合现有的意图预测与低层规划算法，形成统一的学习框架？
• RQ4 在目标空间中进行规划是否能缓解动作空间中稀疏反馈的问题？
• RQ5 训练好的策略是否能泛化到具有不同智能体数量与目标数的新环境？

主要发现

• 所提方法在监控 5 栋建筑、3 个机器人智能体的场景中实现了 60% 的捕获率，显著优于基线方法如 RNN-POMDP（20%）和贪婪/随机策略。
• 该算法在 300 次训练迭代后收敛至全局最优，表现出稳定且高效的学习能力。
• 智能体学会了监控未被监控的建筑，并协调覆盖不同建筑，自然涌现出合作行为。
• 策略参数 θ 学习到的价值景观反映了核心任务价值：监控未被监控的建筑具有奖励，而与他人监控同一栋建筑则受到惩罚。
• 该方法成功迁移至新场景，尽管未显式知晓新布局，仍取得了最佳性能。
• 仅对成功捕获进行奖励塑造的策略，其合作效果优于团队整体奖励，与人类团队动态一致。