[论文解读] Experiments on predictability of word in context and information rate in natural language

D. Yu. Manin|ArXiv.org|Dec 27, 2006

Topic Modeling参考文献 11被引用 26

一句话总结

本文通过人类受试者在上下文中猜测缺失词汇的方式，研究自然语言中的词汇可预测性。研究发现，词汇不可预测性（以逆概率的对数衡量）在散文和诗歌中均与词汇长度呈线性关系，表明语言倾向于实现信息速率的均匀分布，这可能反映了在噪声环境下为实现高效通信而产生的进化优化。

ABSTRACT

Based on data from a large-scale experiment with human subjects, we conclude that the logarithm of probability to guess a word in context (unpredictability) depends linearly on the word length. This result holds both for poetry and prose, even though with prose, the subjects don't know the length of the omitted word. We hypothesize that this effect reflects a tendency of natural language to have an even information rate.

研究动机与目标

• 通过人类受试者，实证测量自然语言中词汇的可预测性，重点关注散文与诗歌。
• 探究上下文中的词汇可预测性是否与词汇长度相关，挑战关于语言冗余性的假设。
• 探讨自然语言是否趋向于实现均匀的信息速率，从而最小化带宽效率低下。
• 为关于冗余性、熵和通信效率的语言理论提供数据支持，尤其与诗歌和语言演化相关。

提出的方法

• 在超过8,000名受试者中开展大规模实验，让他们从散文和诗歌文本中猜测缺失的词汇。
• 收集识别正确词汇所需猜测次数的数据，并据此估算逆概率的对数（即不可预测性）。
• 分析词汇长度与不可预测性之间的关系，对两类文本的数据拟合线性模型。
• 使用人类判断作为词汇可预测性的代理指标，避免依赖统计语言模型或自动压缩方法。
• 比较散文与诗歌的结果，评估文体差异是否影响可预测性与长度的关系。
• 应用信息论原理，特别是熵与冗余性，以解释观察到的词汇层面可预测性模式。

实验结果

研究问题

• RQ1 在散文和诗歌中，词汇在上下文中的不可预测性是否与词汇长度呈线性关系？
• RQ2 在受试者不知晓词汇长度的情况下，词汇的可预测性在多大程度上依赖于其长度？
• RQ3 是否存在证据表明自然语言趋向于实现均匀的信息速率，即较长词汇携带成比例更多的信息？
• RQ4 基于人类预测实验的结果与语言熵和冗余性的理论模型相比如何？
• RQ5 能否用高效通信的进化压力解释观察到的词汇长度与不可预测性之间的线性关系？

主要发现

• 在上下文中正确猜测出一个词汇的概率的对数（即不可预测性）在散文和诗歌中均随词汇长度线性增加。
• 即使受试者不知道词汇长度，该线性关系依然成立，表明可预测性不受长度提示的影响。
• 观察到的模式表明，自然语言可能正朝向均匀的信息速率演化，以在不同词汇长度间平衡信息含量。
• 该结果支持语言系统优化为一致信息传输的假设，从而最小化带宽效率低下。
• 该发现与语言演化的更广泛趋势一致，例如高频词缩短、低频词强化。
• 该数据也与语言其他层级（如句子、语篇、音节）的发现相呼应，其中可预测性影响语调和结构特征，以平滑信息密度。