[论文解读] Efficient human-like semantic representations via the Information Bottleneck principle

Noga Zaslavsky, Charles Kemp+2 more|arXiv (Cornell University)|Aug 9, 2018

Topic Modeling参考文献 15被引用 10

一句话总结

本文提出信息瓶颈（IB）原理可解释人类语言如何将感知输入高效压缩为语义范畴，以颜色命名作为检验案例。研究证明，跨语言的自然颜色命名系统在IB意义上近乎最优，单一权衡参数控制着跨语言的变异性和结构相变，表明IB可作为机器中类人语义表征的统一计算原理。

ABSTRACT

Maintaining efficient semantic representations of the environment is a major challenge both for humans and for machines. While human languages represent useful solutions to this problem, it is not yet clear what computational principle could give rise to similar solutions in machines. In this work we propose an answer to this open question. We suggest that languages compress percepts into words by optimizing the Information Bottleneck (IB) tradeoff between the complexity and accuracy of their lexicons. We present empirical evidence that this principle may give rise to human-like semantic representations, by exploring how human languages categorize colors. We show that color naming systems across languages are near-optimal in the IB sense, and that these natural systems are similar to artificial IB color naming systems with a single tradeoff parameter controlling the cross-language variability. In addition, the IB systems evolve through a sequence of structural phase transitions, demonstrating a possible adaptation process. This work thus identifies a computational principle that characterizes human semantic systems, and that could usefully inform semantic representations in machines.

研究动机与目标

• 识别一种计算原理，以解释语言中高效、类人语义表征的产生。
• 检验信息瓶颈（IB）原理是否能解释颜色命名系统在不同语言间的变异。
• 评估自然颜色命名系统在IB权衡（复杂性与准确性）方面是否近乎最优。
• 探索基于IB的模型能否复现自然颜色分类中观察到的结构演化与相变。
• 将IB框架与现有模型（如RKK+）进行比较，以预测人类颜色命名行为。

提出的方法

• 形式化说话者与听者之间的通信游戏，其中词语代表感知意义的压缩表征。
• 将颜色意义建模为CIELAB颜色空间中的各向同性高斯分布，并以σ参数化感知不确定性。
• 基于基于实证颜色命名数据的参考先验，为每种语言估计认知源分布p(c)。
• 定义IB目标函数Fβ = I(M;W) - β I(M;M̂)，在精度约束下优化词语到意义的压缩。
• 使用gNID（广义归一化信息距离）比较自然与人工IB颜色命名系统之间的相似性。
• 进行5折交叉验证，并使用εl和gNID指标比较IB与基线模型（RKK+和C-IB）的性能。

实验结果

研究问题

• RQ1 信息瓶颈原理能否解释跨多种语言的人类颜色命名系统的结构与效率？
• RQ2 自然颜色命名系统在IB意义上是否近乎最优，与理论IB曲线的偏差最小？
• RQ3 单一IB权衡参数β是否能解释颜色范畴系统在不同语言间的变异？
• RQ4 基于IB的人工语言是否表现出类似于认知或语言演化的结构相变？
• RQ5 IB框架在预测人类颜色命名行为方面与先前模型（如RKK+）相比表现如何？

主要发现

• 110种语言的自然颜色命名系统在IB意义上近乎最优，εl = 0.18 ± 0.07，表明与理论IB曲线的偏差极小。
• 与RKK+基线模型相比，IB模型在εl上提升74%，在gNID上提升55%。
• C-IB（将IB复杂度约束为与自然语言一致）的性能几乎与IB完全相同，证实了IB框架的稳健性。
• 随着β增大，人工IB系统经历结构相变，其演化过程与语言演化的潜在认知过程相吻合。
• 视觉检查与gNID评分均表明，自然颜色命名系统与IB生成系统之间具有高度相似性，即使在语言差异较大的情况下亦然。
• IB框架在跨语言间泛化能力良好，5折交叉验证中表现一致。