[论文解读] Mind model seems necessary for the emergence of communication

Lorincz, A., Gyenes, V.+2 more|ArXiv.org|Nov 3, 2006

Reinforcement Learning in Robotics参考文献 9被引用 6

一句话总结

本文研究了在缺乏预先存在的符号协议的情况下，两个智能体如何通过强化学习与心智建模实现通信的涌现。研究发现，仅具备基本的相互行为建模是不够的，而同时建模对方的行为与意图才是实现快速符号-意义对齐的关键；然而，过度复杂化模型（如引入意图追踪）反而会阻碍学习。

ABSTRACT

We consider communication when there is no agreement about symbols and meanings. We treat it within the framework of reinforcement learning. We apply different reinforcement learning models in our studies and simplify the problem as much as possible. We show that the modelling of the other agent is insufficient in the simplest possible case, unless the intentions can also be modelled. The model of the agent and its intentions enable quick agreements about symbol-meaning association. We show that when both agents assume an `intention model' about the other agent then the symbol-meaning association process can be spoiled and symbol meaning association may become hard.

研究动机与目标

• 研究在无预先符号协议的前提下，自主智能体之间通信涌现的最小条件。
• 检验仅相互建模行为是否足以在强化学习中实现符号-意义关联。
• 评估意图建模在加速或干扰通信涌现中的作用。
• 探索智能体建模深度（1步 vs. 2步）对学习效率与收敛性的影响。
• 确定当智能体存在冲突激励或通信成本时，通信是否仍能涌现。

提出的方法

• 将通信建模为强化学习问题，其中智能体通过效用学习发送与解读信号。
• 将智能体建模为具有通信意愿与信号偏好参数（如 α, β, p₁, p₂, qₓ, qᵧ）的随机策略。
• 引入1步与2步心智建模：智能体估计对方策略，并基于预测响应采取最优行动。
• 通过不同建模假设下的最优策略解析推导，比较学习结果。
• 在模拟中使用SARSA算法进行值函数学习，以验证理论预测。
• 通过观察动作的相对频率估算策略参数（如 p̂₁ = 状态1中X出现次数 / 通信回合总数）。

实验结果

研究问题

• RQ1 当智能体仅建模对方行为而不建模意图时，通信能否涌现？
• RQ2 同时建模行为与意图对符号-意义关联的速度与成功率有何影响？
• RQ3 为何仅相互建模行为会失败，即使通信具有共同效用？
• RQ4 增加建模深度（1步 vs. 2步）如何影响学习稳定性与收敛性？
• RQ5 在何种条件下，过度复杂化模型（如意图追踪）会降低通信学习性能？

主要发现

• 即使通信有益且成本高昂，仅具备基本相互行为建模仍不足以实现通信涌现。
• 超越行为建模，对对方意图的建模可实现更快、更可靠的符号-意义对齐。
• 当双方均建模对方意图时，学习过程可能变得不稳定，导致通信无法涌现。
• 2步建模方法（即智能体预测对方对自己行为的响应）仅在通信成本平衡时才能导出最优策略。
• 未能建模意图或过度高估意图的智能体可能完全停止通信，尤其在成本超过感知收益时。
• 解析推导表明，最优策略对估计参数（如 p̂₁, q̂ₓ, 和 β）极为敏感，且仅当这些估计支持相互利益时通信才会发生。