[论文解读] A Bayesian Model for Discovering Typological Implications

Hal Daumé, Lyle Campbell|ArXiv.org|Jul 4, 2009

Natural Language Processing Techniques参考文献 6被引用 50

一句话总结

本文提出了一种贝叶斯分层模型，能够从世界语言结构语料库（WALS）中自动发现普遍的语言类型学蕴涵，通过概率推理和语言家族结构处理语言数据中的噪声和非独立性问题。该模型恢复了已知的蕴涵关系，并识别出新颖且可检验的假设，相较于平面模型，通过考虑系统发育和区域关联依赖关系，显著提升了性能。

ABSTRACT

A standard form of analysis for linguistic typology is the universal implication. These implications state facts about the range of extant languages, such as ``if objects come after verbs, then adjectives come after nouns.'' Such implications are typically discovered by painstaking hand analysis over a small sample of languages. We propose a computational model for assisting at this process. Our model is able to discover both well-known implications as well as some novel implications that deserve further study. Moreover, through a careful application of hierarchical analysis, we are able to cope with the well-known sampling problem: languages are not independent.

研究动机与目标

• 自动化发现来自稀疏、噪声较大的类型学数据的普遍语言蕴涵。
• 解决语言类型学中的采样问题，即由于历史和地理相关性，语言并非相互独立。
• 对WALS数据库中不一致的记录和特征稀疏性所导致的噪声进行建模。
• 通过基于语言系统发育和区域归属的分层先验知识，改进蕴涵发现。
• 生成既有已知也有新颖的蕴涵，以供进一步语言学研究。

提出的方法

• 使用贝叶斯统计模型推断WALS数据库中二元特征之间的蕴涵关系，建模不确定性和噪声。
• 平面模型将所有语言视为独立，作为对比基线。
• 分层模型整合了语言家族的先验知识，将相关语言分组，以减少非独立样本带来的偏差。
• 模型使用噪声模型来处理因历史记录实践导致的不一致或错误的特征值。
• 多值特征被转换为多个二元特征，以适配推理框架。
• 模型对所有特征对（及后续的三元组）进行推断，以识别强条件依赖关系，使用马尔可夫链蒙特卡洛（MCMC）采样进行后验估计。

实验结果

研究问题

• RQ1 计算模型能否从大规模、稀疏的类型学数据中可靠地发现普遍的语言蕴涵？
• RQ2 考虑语言家族结构在多大程度上能提高所发现蕴涵的可靠性？
• RQ3 该模型在多大程度上能恢复文献中已知的蕴涵？
• RQ4 该模型识别出哪些新颖的蕴涵，可能值得进一步语言学研究？
• RQ5 该模型如何处理因数据收集不一致和非独立语言样本带来的噪声？

主要发现

• 分层模型成功恢复了文献中30个最著名蕴涵中的22个，包括格林伯格的#3（VO → 前置词）和莱曼的主语-动词-宾语原则。
• 该模型识别出8个此前未记录的新颖蕴涵，例如“无前圆元音 → 元音质量音位库较大”和“从句后缀 → 后置词”。
• 分层模型在精确率和召回率方面显著优于平面模型，尤其在减少由非独立语言样本引起的假阳性方面表现突出。
• 模型的顶级多条件蕴涵通常涉及OV语序、后置词和形容词-名词语序，与语言学直觉和先前研究一致。
• 引入分层先验显著提高了推断的稳定性并减少了过拟合，即使在特征观测稀疏的情况下亦然。
• 该模型的输出已公开发布于 http://hal3.name/WALS，支持可重现性与进一步研究。