[论文解读] Human languages order information efficiently

Daniel Gildea, T. Florian Jaeger|arXiv (Cornell University)|Oct 9, 2015

Language and cultural evolution参考文献 60被引用 9

一句话总结

本研究通过五种语言的蒙特卡洛模拟，检验了人类语言是否表现出能提升处理效率的语序模式。研究发现，与随机排列相比，自然语言在依赖长度和信息密度方面均显著降低，表明处理效率的偏好在语言句法演化中起着关键作用。

ABSTRACT

Most languages use the relative order between words to encode meaning relations. Languages differ, however, in what orders they use and how these orders are mapped onto different meanings. We test the hypothesis that, despite these differences, human languages might constitute different `solutions' to common pressures of language use. Using Monte Carlo simulations over data from five languages, we find that their word orders are efficient for processing in terms of both dependency length and local lexical probability. This suggests that biases originating in how the brain understands language strongly constrain how human languages change over generations.

研究动机与目标

• 检验自然语言的语序是否比随机预期更有利于处理效率。
• 探究处理效率偏好是否影响语言随时间的演变。
• 评估人类语言的句法语序是否针对认知处理进行了优化，以依赖长度和信息密度作为关键指标。
• 评估这些处理优势是否在不同句法结构的语言中保持一致。
• 提供计算证据，表明语言演变受到与语言理解与产出相关的认知约束的影响。

提出的方法

• 基于五种语言（英语、德语、法语、西班牙语和日语）的大规模句法语料库，研究提取了依赖关系和词级信息密度。
• 通过蒙特卡洛模拟，研究人员为每种语言生成了数千个随机语序排列，以建立依赖长度和信息密度的随机基线。
• 将实际语言的平均依赖长度和信息密度与随机排列的分布进行比较，以评估处理效率。
• 在研究2中，研究人员在保持恒定核心词性等约束条件下，优化语序以实现最小依赖长度和信息密度，模拟出‘最优’语言。
• 研究使用统计检验判断真实语言中观察到的处理效率是否显著高于随机水平。
• 通过使用标准化句法标注（如斯坦福依赖解析器）和每词信息密度的归一化，控制了跨语言差异。

实验结果

研究问题

• RQ1 自然语言是否表现出比随机预期更低的依赖长度和信息密度？
• RQ2 处理效率指标（如依赖长度和信息密度）在真实人类语言中有多大程度的共变？
• RQ3 自然语言中观察到的处理效率是否显著高于随机语序变体？
• RQ4 在认知和结构约束下，真实语言在处理效率方面与理论最优值有多接近？
• RQ5 处理效率偏好是否在不同句法系统中均促进长期语言演变？

主要发现

• 本研究中的自然语言——英语、德语、法语、西班牙语和日语——其平均依赖长度显著低于随机排列的预期，表明处理效率得到增强。
• 所有语言的平均信息密度也显著低于随机语序排列，表明在理解过程中认知负荷降低。
• 真实语言在依赖长度和信息密度上的联合优化，显著优于随机排列，支持了语言演化中存在处理偏倚的假设。
• 模拟结果表明，真实语言在处理效率上并非最优，但远优于随机水平，表明存在持续的处理简易性偏好。
• 即使在控制核心词性与跨语言差异后，结果依然成立，表明处理效率是句法结构的稳健驱动因素。
• 本研究首次提供了大规模、跨语言的证据，表明处理效率是塑造人类语言句法语序的关键因素。