[论文解读] A practical introduction to the Rational Speech Act modeling framework

Gregory Scontras, Michael Tessler+1 more|arXiv (Cornell University)|May 20, 2021

Multi-Agent Systems and Negotiation参考文献 71被引用 7

一句话总结

本文为理性言语行为（Rational Speech Act, RSA）框架提供了一套实用且注重实践的入门介绍，该框架是一种通过说话者与听话者之间递归推理来形式化格里塞语用推理的概率建模方法。通过使用贝叶斯推理来建模说话者如何选择话语以及听话者如何理解话语，该框架成功预测了人类在隐喻、夸张以及语境敏感意义等多种语言现象中的理解表现，展现出在心理语言学和自然语言处理（NLP）应用中的强大实证有效性。

ABSTRACT

Recent advances in computational cognitive science (i.e., simulation-based probabilistic programs) have paved the way for significant progress in formal, implementable models of pragmatics. Rather than describing a pragmatic reasoning process in prose, these models formalize and implement one, deriving both qualitative and quantitative predictions of human behavior -- predictions that consistently prove correct, demonstrating the viability and value of the framework. The current paper provides a practical introduction to and critical assessment of the Bayesian Rational Speech Act modeling framework, unpacking theoretical foundations, exploring technological innovations, and drawing connections to issues beyond current applications.

研究动机与目标

• 为认知科学和自然语言处理（NLP）领域的研究人员与建模者提供一个实用且易于理解的RSA建模框架入门。
• 通过以概率化方式形式化格里塞语用推理，弥合理论语用学与可实现的计算模型之间的鸿沟。
• 指导建模者应对关键的实现挑战、参数化方法以及RSA模型的实证验证。
• 展示该框架在隐喻、夸张和语境依赖性解释等语言现象中的广泛实证覆盖能力。
• 强调将RSA整合到现代NLP系统中，以提升生成、理解与解释类任务的性能。

提出的方法

• RSA框架将语言理解建模为三层递归推理过程：字面听话者（L0）、语用听话者（L1）和理性说话者（S1），每一层均通过条件概率分布定义。
• 模型的核心是贝叶斯推理：听话者根据话语语义和先验世界状态来更新对世界状态的信念，而说话者则选择话语以最大化听话者的理解。
• 该框架引入了语义、语境、QUD（讨论中的问题）、认知状态以及说话者效用中的不确定性，超越了字面意义，以捕捉语用现象。
• 它利用随机λ演算和结构化概率程序，以计算上可行的方式形式化并模拟复杂的推理模式。
• 模型使用概率编程语言（如WebPPL）实现，支持基于模拟的推理与实证测试。
• 建模者被引导完成参数调优、模型与数据对齐以及验证策略，以确保预测准确性与可解释性。

实验结果

研究问题

• RQ1 格里塞语用推理如何被形式化为人类语言理解中的递归概率推理过程？
• RQ2 哪些语言现象——如隐喻、夸张或语境敏感意义——可以被RSA框架系统性地解释？
• RQ3 如何扩展RSA模型以处理语义、语境、QUD和说话者意图中的不确定性？
• RQ4 实现与验证RSA模型的实际挑战有哪些，以及如何应对？
• RQ5 基于RSA的模型在图像字幕生成、摘要生成和机器翻译等NLP任务中，能在多大程度上提升性能？

主要发现

• RSA框架成功预测了人类在多种语用现象中的理解模式，包括隐喻、夸张以及程度语义中的阈值表达。
• 通过贝叶斯推理对说话者与听话者之间的递归推理进行建模，能够产生与人类行为数据高度一致的定性与定量预测。
• 将语境、QUD和认知状态中的不确定性纳入RSA模型，显著提升了其经验覆盖范围与解释力。
• 将RSA推理整合到NLP系统中，可提升图像字幕生成、路线描述和摘要生成等任务的性能，实现上下文感知的语用理解。
• 通过RSA训练的语用代理在从人类标注语料（如TUNA和颜色描述数据集）中学习语义表征方面，表现优于字面代理。
• 基于RSA的模型已通过神经生理数据（如下一词预测的脑电图测量）得到验证，证实了其心理合理性。