[论文解读] Information content versus word length in natural language: A reply to Ferrer-i-Cancho and Moscoso del Prado Martin [arXiv:1209.1751]

Steven T. Piantadosi, Harry Tily+1 more|arXiv (Cornell University)|Jul 25, 2013

Language and cultural evolution被引用 6

一句话总结

本文挑战了Ferrer-i-Cancho与Moscoso del Prado Martin提出的观点，即语言中词长与信息含量（意外度）之间的线性关系是随机打字模型的统计伪影。本文认为此类模型在根本上存在缺陷，因其将频率与意外度混为一谈，未能考虑词汇表征，并与行为研究及语料库证据相悖，后者表明说话者在可预测语境中更倾向于使用较短形式，支持沟通效率才是词长真正驱动因素的观点。

ABSTRACT

Recently, Ferrer i Cancho and Moscoso del Prado Martin [arXiv:1209.1751] argued that an observed linear relationship between word length and average surprisal (Piantadosi, Tily, & Gibson, 2011) is not evidence for communicative efficiency in human language. We discuss several shortcomings of their approach and critique: their model critically rests on inaccurate assumptions, is incapable of explaining key surprisal patterns in language, and is incompatible with recent behavioral results. More generally, we argue that statistical models must not critically rely on assumptions that are incompatible with the real system under study.

研究动机与目标

• 反驳Ferrer-i-Cancho与Moscoso del Prado Martin所声称的：观察到的词长与意外度之间的线性关系是随机打字模型的统计伪影。
• 证明随机打字模型与人类语言的核心属性（包括词汇表征与认知加工）不相容。
• 表明即使在部分去除频率影响后，意外度（信息含量）仍是词长的更强预测因子，优于频率。
• 提供独立的行为研究与语料库证据，支持沟通效率在塑造词长中的作用。

提出的方法

• 通过揭示F&M的随机打字模型将频率与意外度混淆，从而无法区分词长的两个预测因子，对F&M模型提出批判。
• 分析PT&G的原始发现，强调即使在偏相关分析中，意外度对词长的预测能力仍优于频率。
• 使用非参数相关性分析与涵盖10至11种语言的多个语料库，验证意外度-词长关系的稳健性。
• 综述行为研究，表明说话者在可预测语境中更偏好使用较短形式，支持基于产出的优化机制。
• 将随机打字模型与真实语言系统进行比较，指出其无法捕捉词汇层面的记忆化与语音简化现象。
• 主张模型必须反映语言的因果结构——尤其是意义、表征与有意沟通的作用——而不仅模仿表面统计特征。

实验结果

研究问题

• RQ1 能否通过独立抽取字符来生成词语的随机打字模型，真正解释自然语言中词长与信息含量之间的观察到的线性关系？
• RQ2 即使控制了频率影响，意外度是否仍比词频更好地预测词长？
• RQ3 行为研究是否支持说话者在可预测语境中更偏好使用较短形式的假设，如沟通效率理论所预测？
• RQ4 自然语言中的统计模式（如词长与可预测性）是否可由随机打字模型解释，还是需要沟通优化机制？
• RQ5 随机打字模型能否解释词语作为记忆单位的心理现实，以及言语产出中的语音简化现象？

主要发现

• 在10至11种语言中，意外度（上下文中的负对数概率）对词长的预测能力优于频率，即使在部分去除频率影响后依然成立，表明信息含量是词长更强的决定因素。
• 在F&M提出的随机打字模型中，频率与意外度在数学上完全等同，因此该模型无法区分二者，也因而无法再现PT&G的关键发现——即意外度是更优的预测因子。
• 行为研究表明，说话者更倾向于在可预测语境中使用较短形式（如用'don’t'替代'do not'），为沟通效率在词形选择中的作用提供了独立证据。
• 语料库证据证实，缩略形式在可预测语境中出现频率更高，支持语音简化已被整合进词汇表征的观点。
• 随机打字模型无法再现词语作为记忆单位的心理现实，也无法解释可混淆词对或语音简化模式的存在。
• 随机打字模型的核心假设——即词语通过随机选择组成部分生成——与人类语言不相容，因为在人类语言中，词语是基于意义与沟通效率主动选择的。