[论文解读] Translating Neuralese

Jacob Andreas, Anca D. Dragan+1 more|arXiv (Cornell University)|Apr 23, 2017

Reinforcement Learning in Robotics被引用 12

一句话总结

本文提出一种新颖方法，通过使用信念匹配准则，将深度通信策略生成的非结构化、实值消息向量（neuralese）翻译为自然语言，以实现对这些消息的解释。该方法不依赖平行语料，而是通过最小化共享信念表征中的统计距离，将neuralese消息与自然语言对齐，在协作和状态预测任务中均优于传统机器翻译方法。

ABSTRACT

Several approaches have recently been proposed for learning decentralized deep multiagent policies that coordinate via a differentiable communication channel. While these policies are effective for many tasks, interpretation of their induced communication strategies has remained a challenge. Here we propose to interpret agents' messages by translating them. Unlike in typical machine translation problems, we have no parallel data to learn from. Instead we develop a translation model based on the insight that agent messages and natural language strings mean the same thing if they induce the same belief about the world in a listener. We present theoretical guarantees and empirical evidence that our approach preserves both the semantics and pragmatics of messages by ensuring that players communicating through a translation layer do not suffer a substantial loss in reward relative to players with a common language.

研究动机与目标

• 解决由深度通信策略生成的非结构化、实值通信向量（neuralese）的解释挑战。
• 开发一种翻译框架，使人类能够理解AI的通信策略，而无需依赖平行双语语料。
• 确保翻译后的消息在语义和语用层面均与原始消息保持一致，同时维持高任务性能。
• 为基于信念的翻译优于标准机器翻译准则在零样本AI通信解释中的表现，提供理论与实证支持。

提出的方法

• 该方法提出一种基于信念匹配的翻译准则，根据消息在听者心中引发的世界状态信念，将neuralese消息与自然语言字符串对齐。
• 利用共享表征空间计算不同消息所引发的信念分布之间的统计距离，并通过最小化该距离来识别最优翻译。
• 该方法利用人类-人类和智能体-智能体交互数据，训练一个无需平行语料库的neuralese与自然语言之间的翻译模型。
• 训练一个神经序列到序列模型，使用信念匹配目标生成neuralese消息的自然语言翻译。
• 通过人类与DCP智能体之间的零样本协作进行框架评估，衡量奖励、任务成功率和信念准确性。
• 该方法可推广至任何编码器-解码器通信博弈场景，适用于需要解释隐藏表征可解释性的任务。

实验结果

研究问题

• RQ1 在缺乏平行数据的情况下，什么构成了neuralese消息向自然语言翻译的良好标准？
• RQ2 在何种条件下，neuralese向自然语言的有效翻译是可能的？
• RQ3 基于信念的匹配准则是否能优于传统机器翻译目标，在保留消息语义与语用性方面表现更优？
• RQ4 当人类与智能体通过信念对齐的翻译层进行通信时，其协作效果如何？
• RQ5 该翻译模型是否保持了原始通信协议的战略有效性？

主要发现

• 在参照游戏任务中，当DCP智能体作为说话者、人类作为听者时，信念匹配翻译模型达到了85%的准确率，显著优于直接翻译基线（61%）和随机基线（45%）。
• 在将neuralese颜色名称翻译为自然语言时，信念匹配模型使人类听者得分达到0.77，高于人类-人类自然交流的得分（0.50），表明DCP发现了更有效的通信策略。
• 在驾驶游戏任务中，信念匹配翻译使DCP智能体与人类协作时获得1.35的奖励和0.64的任务完成率，优于随机基线（1.49/0.67）和直接翻译（1.54/0.67），在信念评估中表现最佳。
• 信念匹配模型成功保留了消息的语用有效性，表现为双向通信中平均奖励更高且信念对齐程度更优。
• 该模型成功识别出DCP智能体在参照游戏中使用粗粒度属性（如大小、颜色）生成消息，如示例翻译所示。
• 该方法表明，通过将消息建立在共享信念状态之上，即使在无平行数据或共同语言的情况下，也能实现有效的零样本解释与协作。