[论文解读] Automatic Construction of Clean Broad-Coverage Translation Lexicons

I. Dan Melamed|ArXiv.org|Aug 1, 1996

Natural Language Processing Techniques参考文献 1被引用 31

一句话总结

本文提出一种迭代统计方法，自动清洗从平行语料库中提取的噪声翻译词典，过滤掉降低精确率的间接关联，同时保持高召回率。该方法通过基于上下文共现模式和对齐证据，迭代去除虚假词对，实现精确率和召回率均超过90%的翻译词典，包括词典规模的词典精确率超过95%。

ABSTRACT

Word-level translational equivalences can be extracted from parallel texts by surprisingly simple statistical techniques. However, these techniques are easily fooled by {\em indirect associations} --- pairs of unrelated words whose statistical properties resemble those of mutual translations. Indirect associations pollute the resulting translation lexicons, drastically reducing their precision. This paper presents an iterative lexicon cleaning method. On each iteration, most of the remaining incorrect lexicon entries are filtered out, without significant degradation in recall. This lexicon cleaning technique can produce translation lexicons with recall and precision both exceeding 90\%, as well as dictionary-sized translation lexicons that are over 99\% correct.

研究动机与目标

• 为解决间接关联污染自动构建的翻译词典这一关键问题，此类关联严重降低精确率，尽管召回率很高。
• 开发一种在不显著损失召回率的前提下清洗翻译词典的方法，从而为自然语言处理应用生成高精确率、广覆盖的词典。
• 使用双语语料对照工具在上下文中评估精确率与召回率，考虑上下文依赖的翻译及不完整词形。
• 生成干净、高质量的翻译词典，适用于机器翻译、词典编纂及多语言信息检索。
• 证明基于上下文对齐的迭代过滤可有效区分词对共现数据中直接关联与间接关联。

提出的方法

• 该方法从使用基于对齐平行文本段落中共现的相似性度量的贪心算法生成的原始翻译词典开始。
• 应用一种迭代清洗过程，基于平行语料中的对齐模式，移除关联得分高但上下文支持微弱或间接的词对。
• 在每次迭代中，算法识别并消除仅通过第三个词（例如 v_k）关联的词对，利用此类间接关联在统计上不如直接关联可靠的特性。
• 清洗过程依赖于跨对齐句子对比较共现模式，以检测并剔除由共享上下文而非真正翻译等价性引起的虚假关联。
• 该过程持续进行，直到精确率不再有显著提升，通过保留所有有效的直接关联来维持高召回率。
• 最终词典使用双语语料对照工具进行评估，检查对齐段落对中是否存在直接翻译证据，支持细粒度条目类型（V, P, I）。

实验结果

研究问题

• RQ1 能否在不降低召回率的前提下，有效过滤自动提取的翻译词典中的间接关联？
• RQ2 迭代统计清洗在多大程度上可提升从平行语料库中提取的广覆盖翻译词典的精确率？
• RQ3 上下文依赖性及不完整词形在多大程度上影响翻译词典质量的评估？应如何正确处理？
• RQ4 能否生成一个干净、高精确率的翻译词典，使其质量达到或超过传统双语词典？
• RQ5 在翻译词典构建中，精确率与召回率之间的权衡如何？能否通过迭代清洗同时最大化两者？

主要发现

• 该迭代词典清洗方法在法语-英语平行语料库上实现了精确率与召回率均超过90%，精确率在召回率平台期达到99.2%。
• 该方法生成的词典规模翻译词典（约10,000个条目）精确率超过95%，证明其在实际应用中具有高度可靠性。
• 该方法成功降低了间接关联的影响——即仅通过共同上下文关联的虚假词对——同时未移除有效的直接翻译。
• 即使涉及词性变化（类型P）或不完整词形（类型I）的条目，也显示出实用性且在上下文中被正确识别，证明了该方法的鲁棒性。
• 使用双语语料对照工具的评估表明，大量正确条目具有上下文依赖性或形态不完整，支持在最终词典中包含此类条目。
• 结果表明，通过迭代清洗，可生成质量极高的翻译词典，其精确率可媲美或超越传统双语词典，尤其在考虑上下文敏感及形态复杂翻译时。