[论文解读] Compression and the origins of Zipf's law of abbreviation

Ramon Ferrer‐i‐Cancho, Chris Bentz+1 more|arXiv (Cornell University)|Apr 19, 2015

RNA and protein synthesis mechanisms参考文献 68被引用 8

一句话总结

本文提出，词汇频率越高的语言单位越短的齐夫缩写定律，源于对广义能量成本函数 Λ = Σpᵢg(lᵢ) 的最小化，其中 pᵢ 为频率，lᵢ 为量度（如长度、时长），g 为单调递增的成本函数。研究表明，最小化 Λ 可自然产生频率与量度之间的负相关关系，从而为该定律在语言、动物通讯及遗传学中的普遍存在提供了理论基础。

ABSTRACT

Languages across the world exhibit Zipf's law of abbreviation, namely more frequent words tend to be shorter. The generalized version of the law - an inverse relationship between the frequency of a unit and its magnitude - holds also for the behaviours of other species and the genetic code. The apparent universality of this pattern in human language and its ubiquity in other domains calls for a theoretical understanding of its origins. To this end, we generalize the information theoretic concept of mean code length as a mean energetic cost function over the probability and the magnitude of the types of the repertoire. We show that the minimization of that cost function and a negative correlation between probability and the magnitude of types are intimately related.

研究动机与目标

• 通过将缩写定律与压缩的信息论原理相联系，解决 Kirby 的关联性难题。
• 将码长概念广义化，以包含任何可度量的量度（如时长、音节数、笔画数）作为成本。
• 表明最小化广义成本函数 Λ = Σpᵢg(lᵢ) 可导致频率与量度之间的负相关关系，从而解释缩写定律。
• 将理论框架扩展至语言之外，涵盖动物通讯与遗传密码，证明其普适性。
• 提供压缩效率与缩写定律出现之间直接、数学严谨的关联。

提出的方法

• 将信息论中的平均码长 L = Σpᵢlᵢ 广义化为广义成本函数 Λ = Σpᵢg(lᵢ)，其中 g(lᵢ) 为量度 lᵢ 的单调递增函数。
• 应用标准优化技术（拉格朗日乘数法）在概率分布与码可区分性约束下最小化 Λ。
• 推导出最优解 lᵢ* = -logₙ(pᵢ)/g′(lᵢ*)，以表明当 g 为线性函数时，码长与频率成反比关系。
• 通过皮尔逊与肯德尔相关性分析，实证验证最小化 Λ 与频率-量度负相关之间的联系。
• 证明在非奇异码下，最优解导致 σ[λ] = 0（成本方差为零），但仅当类型数 V 不超过字母表大小 N 时才可行；否则，可区分性约束会为 σ[λ] 设定正的下限。
• 类比网络中的社区检测，表明最大化模块度 Q 等价于最大化类内相关性，进一步强化了优化与相关性之间的联系。

实验结果

研究问题

• RQ1 能否从通信系统中广义成本函数的合理优化出发，推导出缩写定律？
• RQ2 最小化成本函数 Λ = Σpᵢg(lᵢ) 与频率和量度之间负相关关系的出现之间存在何种关系？
• RQ3 假设成本函数 g(lᵢ) 为单调递增，如何影响码的最优性与可区分性？
• RQ4 压缩问题的最优解在多大程度上能预测现实系统中观察到的频率-量度反比关系？
• RQ5 该理论框架能否扩展至解释非语言领域（如动物信号与遗传密码）中的类似模式？

主要发现

• 最小化广义成本函数 Λ = Σpᵢg(lᵢ) 可产生频率（pᵢ）与量度（lᵢ）之间显著的负相关关系，直接将压缩与缩写定律联系起来。
• 当 g 为恒等函数时，最优解 lᵢ* = -logₙ(pᵢ) 恢复了齐夫缩写定律的一种形式，证实其信息论起源。
• 统计分析显示，当 Λ 最小时，频率与量度之间的相关性最大，反之亦然。
• 在非奇异码下，最优解导致 σ[λ] = 0（成本无方差），但仅当类型数 V 不超过字母表大小 N 时才可行。
• 当 V > N 时，可区分性约束迫使 σ[λ] 存在一个正的下限，从而阻止零成本解的出现，并倾向于产生中等程度、非均匀的码长。
• 该框架可超越语言范畴：其预测语法结构中依赖长度与认知成本之间存在负相关关系，与依赖语法中的实证发现一致。