[论文解读] Grounded Agreement Games: Emphasizing Conversational Grounding in Visual Dialogue Settings

David Schlangen|arXiv (Cornell University)|Aug 29, 2019

Multimodal Machine Learning Applications参考文献 20被引用 10

一句话总结

本文提出了「基础共识游戏」（Grounded Agreement Games）——一种新颖的视觉对话框架，通过要求对话双方就任务完成达成一致，强调对话的语境基础。通过嵌入达成共识的共同目标，该设定促进了元语义协调、修复策略以及更丰富的互动模式，相比标准的下一句预测任务，使对话学习更加自然和具有语境基础。

ABSTRACT

Where early work on dialogue in Computational Linguistics put much emphasis on dialogue structure and its relation to the mental states of the dialogue participants (e.g., Allen 1979, Grosz & Sidner 1986), current work mostly reduces dialogue to the task of producing at any one time a next utterance; e.g. in neural chatbot or Visual Dialogue settings. As a methodological decision, this is sound: Even the longest journey is a sequence of steps. It becomes detrimental, however, when the tasks and datasets from which dialogue behaviour is to be learned are tailored too much to this framing of the problem. In this short note, we describe a family of settings which still allow to keep dialogues simple, but add a constraint that makes participants care about reaching mutual understanding. In such agreement games, there is a secondary, but explicit goal besides the task level goal, and that is to reach mutual understanding about whether the task level goal has been reached. As we argue, this naturally triggers meta-semantic interaction and mutual engagement, and hence leads to richer data from which to induce models.

研究动机与目标

• 为解决当前视觉对话数据集中对话语境基础的缺失问题，这些数据集将对话简化为下一句预测任务，而未建模相互理解。
• 构建对话场景，使参与者必须协调并共同确认任务结果，从而强调修复和语义协商等协调现象。
• 设计简单、可控的环境，同时仍能支持复杂的互动模式，如反馈、澄清和概念对齐。
• 提供数据丰富、具有语境基础的对话交互，更真实地反映人类对话协调的特征，从而为对话智能体提供更稳健的训练支持。
• 证明显式共识机制可带来更自然、更具互动性且语义协调性更强的对话行为。

提出的方法

• 引入「共识游戏」，要求对话参与者共同确认任务完成，从而在主要任务之外建立相互理解的次级目标。
• 设计如 MeetUp、MatchIt 和 Concept Learning Game 等环境，分别强调空间协调、图像匹配和概念协商等不同方面的语境基础。
• 采用共享目标与承诺对称性——双方必须同意才能结束游戏——确保任一方无法单方面推进。
• 设计互动结构，包含协商的特定节点（如最终确认前），以支持反馈与澄清。
• 收集并分析对话，其中参与者通过自然语言协商语义内容（如房间类型或图像身份），以解决歧义。
• 使用现有数据集与工具（如 sempix、meetup 代码）标准化并共享数据格式，以确保可复现性与可重用性。

实验结果

研究问题

• RQ1 如何设计对话场景，以促进相互理解与协调，而非仅关注下一句生成？
• RQ2 当参与者必须在视觉对话中共同确认任务完成时，会涌现出何种互动模式？
• RQ3 与标准的视觉问答或聊天机器人基准相比，基于共识的场景是否能激发更丰富、更具语境基础的对话行为？
• RQ4 当双方必须就结果达成一致时，参与者如何协商语义内容并解决歧义？
• RQ5 共识游戏在多大程度上支持元语义互动，如反馈、澄清与概念对齐？

主要发现

• 共识游戏成功激发了元语义互动，如反馈、澄清与概念协商，这些在标准视觉对话场景中是缺失的。
• MeetUp 游戏中的参与者展现出协调的空间推理与相互确认行为，即使视觉线索模糊，也通过描述性语言对齐共享位置。
• MatchIt 游戏表明，即使简单的图像匹配任务也能引发明确的相互确认与语义协商，例如分辨房间是洗衣房还是浴室。
• 在 Concept Learning Game 中，参与者进行概念协商，反复修订并完善对共享视觉类别的描述（如鸟类羽毛颜色或脚的颜色），以达成共识。
• 共识机制创造了承诺对称性，防止单方面完成任务，确保双方持续参与协调过程。
• 由此产生的对话更加自然、互动性更强且更具语境基础，真实反映了现实对话中的修复与对齐动态，而这些在标准的下一句预测基准中是缺失的。