[论文解读] An Incremental Iterated Response Model of Pragmatics

Reuben Cohn-Gordon, Noah D. Goodman+1 more|arXiv (Cornell University)|Sep 30, 2018

Speech Recognition and Synthesis被引用 10

一句话总结

本文提出了一种增量式迭代回应（IR）语用模型，在话语生成与理解过程中逐词进行语用推理，与传统全局模型一次性处理完整话语的方式形成对比。该模型能够捕捉此前全局模型无法解释的现象，如过度信息性的指称表达和从对比性修饰语中产生的预期含义，并在TUNA语料库上预测真实语境下的指称表达时优于全局模型，尤其偏好上下文信息更丰富的多词表达而非简短表达。

ABSTRACT

Recent Iterated Response (IR) models of pragmatics conceptualize language use as a recursive process in which agents reason about each other to increase communicative efficiency. These models are generally defined over complete utterances. However, there is substantial evidence that pragmatic reasoning takes place incrementally during production and comprehension. We address this with an incremental IR model. We compare the incremental and global versions using computational simulations, and we assess the incremental model against existing experimental data and in the TUNA corpus for referring expression generation, showing that the model can capture phenomena out of reach of global versions.

研究动机与目标

• 为解决全局迭代回应模型仅一次性处理完整话语的局限性，开发一种逐词进行语用推理的增量模型，以更好地反映实时语言处理过程。
• 证明增量语用推理能够解释全局模型无法解释的实证现象，如形容词-名词与名词-形容词语言在语序上的不对称性以及来自对比性修饰语的预期含义。
• 通过与现有心理语言学数据及TUNA语料库中指称表达生成任务的对比，评估增量模型，展示其在预测真实语境表达方面的优越性。
• 提供一种可扩展的全局RSA模型替代方案，避免对所有可能话语进行归一化处理，从而实现在复杂环境中的高效计算。

提出的方法

• 该模型基于理性说话人行为（RSA）框架构建，将全局语用推理重构为增量过程：每个词依次处理，说话人与听话人均基于部分话语更新信念。
• 对序列中的每个词，模型首先计算部分话语在字面听话人眼中的解释，随后语用说话人根据预期信息量与成本选择下一个词，使用词级成本函数（内容词为1.0，停用词为0.0）。
• 增量语用说话人 $ S_1^{\text{UTT-IP}} $ 计算在每个词处停止或继续的概率，将概率质量分配给可能的后续话语，与全局模型一次性评估完整话语的方式不同。
• 该模型采用无需归一化的方法，通过增量概率计算避免对所有可能话语的完整枚举，从而实现可扩展性。
• 通过计算模拟进行评估，并应用于TUNA语料库，预测在全局与增量推理下最优的指称表达。
• 成本函数对更长话语施加统一惩罚，但增量模型仍可在上下文更富信息时偏好更长表达，因为概率质量被分配至停止与继续两种选择。

实验结果

研究问题

• RQ1 增量语用模型能否解释跨语言研究中观察到的过度信息性指称表达行为，如形容词-名词与名词-形容词语言之间的差异？
• RQ2 增量模型能否解释来自对比性修饰语的预期含义？这类含义在完整话语说出前即已显现。
• RQ3 在真实世界的指称表达生成任务中，增量语用推理是否与全局推理产生不同的话语预测？
• RQ4 在TUNA语料库上，增量模型与全局模型在预测类人指称表达方面表现如何？

主要发现

• 在TUNA语料库的‘人物’领域，增量模型预测了287个最优的两词表达，而全局模型仅预测120个，表明其更倾向于选择更长、更具上下文信息的表达。
• 在‘家具’领域，增量模型预测了149个最优的两词表达，而全局模型为88个，进一步支持其偏好更长、更具上下文依据的表达。
• 当‘grey’与‘a grey desk’均能完全指称目标时，全局模型因成本惩罚选择‘grey’，而增量模型则偏好‘right middle’——一个更长、更具上下文特异性的表达——因为若在‘grey’后停止，概率质量会被分割。
• 增量模型成功预测了说话人即使在成本惩罚下，仍可能生成更长表达，只要其在上下文中更具信息量，原因在于停止与继续选项间存在概率质量的分配。
• 该模型通过建模词序与增量信息量在生成过程中的相互作用，解释了形容词-名词与名词-形容词语言在过度信息性行为上的不对称性。
• 该模型通过允许听话人在完整话语说出前即推断意义，生成来自对比性修饰语的预期含义，这一现象是全局模型所无法捕捉的。