[论文解读] Explaining away ambiguity: Learning verb selectional preference with Bayesian networks

Massimiliano Ciaramita, Mark Johnson|ArXiv.org|Aug 22, 2000

Topic Modeling参考文献 6被引用 5

一句话总结

该论文提出了一种贝叶斯网络模型，通过利用 WordNet 的词汇层次结构和基于语料的动词-宾语对，学习动词的选择性偏好，并利用 '解释消除' 机制解决词义歧义。该模型在词义消歧任务上的表现优于当前最先进的无监督系统，准确率达到 51.4%，超过 Resnik 的 44.3% 和 Abney 与 Light 的 42.3%，通过概率推理自然地建模了不确定性。

ABSTRACT

This paper presents a Bayesian model for unsupervised learning of verb selectional preferences. For each verb the model creates a Bayesian network whose architecture is determined by the lexical hierarchy of Wordnet and whose parameters are estimated from a list of verb-object pairs found from a corpus. ``Explaining away'', a well-known property of Bayesian networks, helps the model deal in a natural fashion with word sense ambiguity in the training data. On a word sense disambiguation test our model performed better than other state of the art systems for unsupervised learning of selectional preferences. Computational complexity problems, ways of improving this approach and methods for implementing ``explaining away'' in other graphical frameworks are discussed.

研究动机与目标

• 开发一种无监督模型，从未标注语料中学习动词选择性偏好。
• 通过利用贝叶斯网络的 '解释消除' 性质，在训练数据中解决词义歧义问题。
• 通过将词汇层次结构（WordNet）与概率推理相结合，改进选择性偏好估计。
• 将词义消歧作为选择性偏好准确率的代理指标，对模型进行评估。
• 探索在贝叶斯网络之外的其他图模型中实现 '解释消除' 的可行性。

提出的方法

• 该模型为每个动词构建一个贝叶斯网络，节点包括 WordNet 中的语义类别（同义词集）和表示观察到的动词-宾语对的证据节点。
• 网络结构源自 WordNet 的依存层级，确保模型架构具有语义一致性。
• 参数通过语料数据估计，使用一种改进的频率估计器，通过公式 (3) 考虑词义歧义：$\hat{P}(c|p,r) \approx \sum_{w \in c} \frac{count(p,r,w)}{classes(w)}$。
• '解释消除' 机制允许当某一词义被证据强烈支持时，降低其他可能词义的后验概率，从而自然地解决歧义。
• 模型使用边缘概率推理，基于观察到的宾语词及其 WordNet 词义，确定动词所选择的语义类别。
• 系统使用 Resnik 从布朗语料库中选取的基准测试集进行评估，该测试集包含人工标注的词义。

实验结果

研究问题

• RQ1 贝叶斯网络能否在无监督条件下，利用未标注语料有效建模动词选择性偏好？
• RQ2 贝叶斯网络的 '解释消除' 性质在选择性偏好学习中如何帮助解决词义歧义？
• RQ3 所提出的模型是否在词义消歧任务上优于现有无监督系统，后者可作为选择性偏好准确率的代理？
• RQ4 该模型在多大程度上受益于训练数据中的分布信息？
• RQ5 '解释消除' 机制是否可推广至贝叶斯网络以外的其他图模型？

主要发现

• 该模型在 Resnik 测试集上的词义消歧准确率达到 51.4%，优于 Resnik 的 44.3% 和 Abney 与 Light 的 42.3%。
• 尽管仅使用训练数据中词语的二元存在/缺失信息（而非词频统计），该模型仍优于当前最先进的无监督系统。
• 当完全整合分布信息（词频统计）时，模型性能保持稳定，表明其对数据稀疏性具有鲁棒性。
• 在圣何塞纪事报语料库上的性能下降至 35.8%，可能由于数据噪声更高且分布统计更丰富。
• '解释消除' 机制在某一词义被强烈支持时，能有效降低其他竞争词义的后验概率，从而实现歧义消解。
• 作者建议 '解释消除' 是贝叶斯推理的一种通用性质，可能适用于其他模型（如带先验的 HMM）。