[论文解读] Learning to Communicate Implicitly By Actions

Zheng Tian, Shihao Zou+5 more|arXiv (Cornell University)|Oct 10, 2018

Reinforcement Learning in Robotics参考文献 54被引用 7

一句话总结

本文提出策略信念学习（PBL），一种新型算法，使智能体能够在协作性、不完全信息环境中通过行为隐式传递私有信息。通过结合用于建模他人私有状态的信念模块，以及基于新型辅助奖励引导行为通信的策略模块，PBL 在矩阵博弈和桥牌叫牌任务中实现了接近最优的性能，且无需显式通信通道。

ABSTRACT

In situations where explicit communication is limited, human collaborators act by learning to: (i) infer meaning behind their partner's actions, and (ii) convey private information about the state to their partner implicitly through actions. The first component of this learning process has been well-studied in multi-agent systems, whereas the second --- which is equally crucial for successful collaboration --- has not. To mimic both components mentioned above, thereby completing the learning process, we introduce a novel algorithm: Policy Belief Learning (PBL). PBL uses a belief module to model the other agent's private information and a policy module to form a distribution over actions informed by the belief module. Furthermore, to encourage communication by actions, we propose a novel auxiliary reward which incentivizes one agent to help its partner to make correct inferences about its private information. The auxiliary reward for communication is integrated into the learning of the policy module. We evaluate our approach on a set of environments including a matrix game, particle environment and the non-competitive bidding problem from contract bridge. We show empirically that this auxiliary reward is effective and easy to generalize. These results demonstrate that our PBL algorithm can produce strong pairs of agents in collaborative games where explicit communication is disabled.

研究动机与目标

• 解决多智能体强化学习中隐式通信（通过行为传递私有信息）研究不足的问题，相较于显式通信，其探索尚不充分。
• 开发一种框架，使智能体能够同时学习推断他人的私有信息，并以隐式方式传达自身的私有信息。
• 通过使智能体能够建模他人的信念并据此行动，将心理理论（theory of mind）融入学习过程，实现无需显式信号的相互理解。
• 设计一种实用且可扩展的算法，使其在多种具有不完全信息的协作环境中具备泛化能力。
• 通过实证验证，即使在禁用显式通信的情况下，通过行为实现的隐式通信仍可实现强大的协作性能。

提出的方法

• PBL 采用双模块架构：信念模块基于其他智能体的可观测行为估计其私有信息，策略模块则结合当前观测与信念模块的输出选择动作。
• 策略模块通过一种新型辅助奖励进行训练，该奖励衡量某一动作在多大程度上提升了合作方对其私有状态信念的准确性，从而激励产生信息量丰富的动作。
• 辅助奖励被整合进主学习目标，实现策略的端到端训练，同时促进隐式通信。
• 该框架支持分布式训练，每个智能体拥有独立的信念模块，允许智能体通过不同的数据流建模彼此的心理状态。
• 算法通过深度强化学习训练，策略与信念模块通过经验回放与目标网络联合优化。
• 该方法在三个环境中进行了评估：矩阵博弈、多智能体粒子环境（Silent Guide）以及桥牌叫牌任务，验证了其可扩展性与鲁棒性。

实验结果

研究问题

• RQ1 在缺乏显式通信通道的情况下，智能体能否学会通过行为隐式传递私有信息？
• RQ2 所提出的辅助奖励在促进提升合作方信念准确性的信息性动作序列方面效果如何？
• RQ3 当智能体使用不同的信念模型时，其通过隐式通信仍能有效协作的程度如何？
• RQ4 将心理理论（即建模他人信念并据此行动）整合进学习过程，是否能提升在不完全信息环境中的协作性能？
• RQ5 PBL 框架能否泛化至复杂、类现实世界任务，如桥牌叫牌？

主要发现

• PBL 算法在矩阵博弈中实现了接近最优的性能，证明了在无显式通信通道下仍能实现有效的隐式通信。
• 在 Silent Guide 粒子环境中，使用辅助通信奖励训练的智能体成功通过接近正确地标来引导听者抵达目标，而无奖励的基线方法则无法实现有效通信。
• 使用 PBL 训练的听者能够跟随引导者的行为，即使引导者的策略是独立训练的，表明其对信念模型差异具有鲁棒性。
• 在桥牌叫牌任务中，模型学会了有意义的叫牌约定：当梅花花色的HCP值为4.5或以上时开叫梅花，表明实现了有效的隐式信号传递。
• 消融实验表明，仅记忆最近一次叫牌（历史记忆有限）会降低性能（平均得分为0.065），证实更长的历史记忆有助于提升信念模型的准确性。
• PBL 框架使训练过的引导者能够成功与仅观察行为、无信念模型的“新手”听者协作，证明了隐式信号的实际应用价值。