[论文解读] Automatic Evaluation and Uniform Filter Cascades for Inducing N-Best Translation Lexicons

I. Dan Melamed|ArXiv.org|May 25, 1995

Natural Language Processing Techniques被引用 63

一句话总结

本文提出了一种统一的滤波器级联框架，将四种外部知识源——词性标注、同源词检测、词对齐启发式方法和机器可读双语词典——整合到统计N-best翻译词典归纳中。通过以级联方式、基于客观评估驱动地应用这些滤波器，该方法在基线统计模型基础上将词典精确度提升了高达36%，并使得即使在小规模手工构建的平行语料上也能实现高质量的词典归纳，接近人类水平表现。

ABSTRACT

This paper shows how to induce an N-best translation lexicon from a bilingual text corpus using statistical properties of the corpus together with four external knowledge sources. The knowledge sources are cast as filters, so that any subset of them can be cascaded in a uniform framework. A new objective evaluation measure is used to compare the quality of lexicons induced with different filter cascades. The best filter cascades improve lexicon quality by up to 137% over the plain vanilla statistical method, and approach human performance. Drastically reducing the size of the training corpus has a much smaller impact on lexicon quality when these knowledge sources are used. This makes it practical to train on small hand-built corpora for language pairs where large bilingual corpora are unavailable. Moreover, three of the four filters prove useful even when used with large training corpora.

研究动机与目标

• 开发一种统一且可组合的框架，将多样化的非统计知识源整合到统计翻译词典归纳中。
• 构建一种客观的自动评估方法（BiBLE），以消除对昂贵人工判断的依赖，用于比较词典质量。
• 证明在引入外部知识滤波器后，小规模手工构建的平行语料可生成更优的词典，优于更大规模但未经滤波的语料。
• 研究不同滤波器组合在提升翻译词典精确度与鲁棒性方面的相对有效性。

提出的方法

• 通过源语和目标语词汇的笛卡尔积，从对齐的双语句子对中提取候选词对。
• 按顺序应用四重滤波器级联——词性标注、同源词检测、词对齐启发式方法和机器可读双语词典——以剔除低质量的候选翻译。
• 每个滤波器独立运作，基于不同的知识源，从而支持灵活组合与系统性评估。
• 采用固定的统计决策过程，从滤波后的候选集里对最终N个最佳翻译条目进行排序与选择。
• 引入一种客观评估指标BiBLE（二值标签评估），基于对齐一致性和标签一致性计算精确度，实现无需人工标注的自动化词典质量比较。
• 使用BiBLE系统性评估滤波器级联，并基于精确度得分选择最优滤波器组合。

实验结果

研究问题

• RQ1 统一框架能否有效结合多样化的非统计知识源，以提升统计翻译词典归纳效果？
• RQ2 外部知识滤波器在多大程度上可减少对训练语料规模的需求，同时保持或提升词典质量？
• RQ3 不同滤波器级联组合下，N-best翻译词典的精确度如何变化？哪种组合性能最高？
• RQ4 一种客观的自动评估方法能否可靠替代人工判断来评估翻译词典质量？

主要发现

• 最佳滤波器级联组合使翻译词典精确度相比基线统计方法最高提升了36%，显著降低了对大规模平行语料的依赖。
• 仅5,000对句子的小型训练语料，在经过完整滤波器级联处理后，精确度达到0.84，超过在100,000对句子上训练的基线模型（精确度0.75）。
• 词性标注与同源词滤波器的组合比单独使用任一滤波器更有效地减少噪声，使正确翻译如'foremost'的排名得以提升。
• 机器可读双语词典（MRBD）滤波器表现极为有效，在Hansard子语料中将条目精准缩小至最合适的翻译。
• BiBLE评估方法成功检测到不同词典之间的细微质量差异，并支持滤波器参数的优化，例如同源词滤波器中的LCSR截断值。
• 即使在大规模语料上，四个滤波器中的三个（POS、同源词、对齐）仍能带来可测量的性能提升，证明其在小数据之外的通用实用性。