[论文解读] Exploiting Context to Identify Lexical Atoms -- A Statistical View of Linguistic Context

ChengXiang Zhai|ArXiv.org|Jan 2, 1997

Natural Language Processing Techniques参考文献 16被引用 15

一句话总结

本文提出一种基于统计与语境的分析方法，通过测量短语的组合性来识别词汇原子——即非组合性的多词短语（如'hot dog'）。该方法引入三种新颖的统计度量（PWC、WA、CS），利用文本中的共现模式与互信息，结合PWC与MI得分后，在检测词汇原子时精度最高可达90%，表明语境能显著提升对非组合性短语的识别能力。

ABSTRACT

Interpretation of natural language is inherently context-sensitive. Most words in natural language are ambiguous and their meanings are heavily dependent on the linguistic context in which they are used. The study of lexical semantics can not be separated from the notion of context. This paper takes a contextual approach to lexical semantics and studies the linguistic context of lexical atoms, or "sticky" phrases such as "hot dog". Since such lexical atoms may occur frequently in unrestricted natural language text, recognizing them is crucial for understanding naturally-occurring text. The paper proposes several heuristic approaches to exploiting the linguistic context to identify lexical atoms from arbitrary natural language text.

研究动机与目标

• 解决在非受限自然语言文本中识别词汇原子（如'hot dog'等非组合性短语）的挑战。
• 开发对语境敏感的方法，利用语言语境检测词汇原子，而无需依赖预定义词典。
• 基于语料库数据推导出的统计度量，量化短语的组合性。
• 评估不同统计度量在区分词汇原子与组合性短语方面的有效性。

提出的方法

• 提出一种简化的语言语境模型，仅限于每个候选短语周围固定窗口（例如80个词）内的语境。
• 将语境建模为词袋，忽略句法与语义关系，以降低复杂度。
• 引入点互信息加权组合性（PWC）度量，评估单个词语对非组合性的贡献。
• 采用互信息（MI）度量，评估候选短语中词语之间的共现强度。
• 使用加权平均（WA）与上下文相似性（CS）度量作为对比基线。
• 通过共识排序，整合多个度量（如PWC与MI）的结果，以提高检测精度。

实验结果

研究问题

• RQ1 能否有效利用语言语境，在非受限文本中识别非组合性的多词短语（即词汇原子）？
• RQ2 不同统计度量在短语组合性方面的表现如何，其在检测词汇原子上的效果有何差异？
• RQ3 能否对单个词语在非组合性中的贡献进行量化与解释？
• RQ4 结合多个统计度量是否能提升检测准确率，相较于单一度量？

主要发现

• 当从候选短语中识别前10至20个词汇原子时，PWC与MI度量的精度达到90%。
• PWC与MI度量的合并结果在精度上略高于任一单独度量，且在前10对候选中达到90%的精度。
• PWC度量为短语中每个词语提供了可解释的组合性得分，揭示了哪些词语对非组合性的贡献最大。
• PWC与MI度量在前50名候选中共同排前41对，但两者共享的仅21对，表明其检测模式具有互补性。
• CS度量在低资源环境下处理模糊短语方面展现出潜力，尽管计算成本较高。
• 尽管将语境简化为词袋模型，该方法仍表现出较强性能，验证了统计语境建模的有效性。