[论文解读] Estimating Lexical Priors for Low-Frequency Syncretic Forms

R. Harald Baayen, Richard Sproat|ArXiv.org|Apr 24, 1995

Masonry and Concrete Structural Analysis参考文献 5被引用 3

一句话总结

本文提出使用hapax legomena（在语料库中仅出现一次的词）作为估计随机形态标注器中词汇先验的最优基础，尤其适用于低频的同形形式。通过计算hapax形式中各类功能的相对频率，该方法为未见的形态歧义类型提供了稳健的估计器，在低频情境下显著提升了先验概率估计的准确性。

ABSTRACT

Given a previously unseen form that is morphologically n-ways ambiguous, what is the best estimator for the lexical prior probabilities for the various functions of the form? We argue that the best estimator is provided by computing the relative frequencies of the various functions among the hapax legomena --- the forms that occur exactly once in a corpus. This result has important implications for the development of stochastic morphological taggers, especially when some initial hand-tagging of a corpus is required: For predicting lexical priors for very low-frequency morphologically ambiguous types (most of which would not occur in any given corpus) one should concentrate on tagging a good representative sample of the hapax legomena, rather than extensively tagging words of all frequency ranges.

研究动机与目标

• 解决在训练语料库中未出现的形态歧义低频词形的词汇先验估计挑战。
• 识别一种可靠方法，用于预测此前未见的同形形式的功能分布（如词性或句法角色）。
• 通过聚焦于hapax legomena的代表性样本，减少对高频词进行大量人工标注的需求。
• 提升随机形态标注器在处理罕见和未见词形时的性能。

提出的方法

• 该方法计算语料库中hapax legomena（即仅出现一次的词）中各类语法功能的相对频率。
• 假设hapax形式中的功能分布反映了未见低频形式的潜在概率分布。
• 该方法利用hapax legomena本身固有的稀有性，使其成为低频形态歧义功能分布的代表性样本。
• 将这些观测到的频率用作概率标注框架中的词汇先验，尤其适用于训练数据中不存在的形式。
• 该方法避免依赖可能无法推广到罕见形式的高频词统计。
• 特别适用于语料库构建初期的人工标注工作，此时效率至关重要。

实验结果

研究问题

• RQ1 对于此前未见的低频形态歧义形式，最有效的词汇先验概率估计器是什么？
• RQ2 如何可靠地估计在给定语料库中未出现的同形形式的词汇先验？
• RQ3 hapax legomena中功能的分布能否作为低频歧义形式真实先验分布的有效代理？
• RQ4 与其它估计策略相比，使用hapax legomena在多大程度上提升了随机形态标注器的准确性？
• RQ5 相较于对高频词进行人工标注，聚焦于hapax legomena进行人工标注是否更高效，从而改善先验估计？

主要发现

• hapax legomena中各类功能的相对频率，为低频未见形态歧义形式的词汇先验提供了最可靠的估计器。
• 该方法显著改善了随机形态标注器中先验概率的估计，尤其在罕见词类中效果明显。
• 该方法减少了对高频词进行大量人工标注的需求，因为hapax legomena已足以捕捉稀有形式的功能分布。
• 该方法在同形形式（即具有多种语法功能的词）中尤为有效，传统基于频率的先验在此类形式上往往失效。
• 实证结果表明，hapax legomena是估计低频形态歧义先验的稳定且具代表性的样本。
• 该方法使初始语料标注更加准确和高效，尤其在资源有限的情况下。