[论文解读] An Algorithm for Aligning Sentences in Bilingual Corpora Using Lexical Information

Akshar Bharati, V Sriram+3 more|ArXiv.org|Feb 12, 2003

Natural Language Processing Techniques参考文献 6被引用 6

一句话总结

本文提出了一种基于词汇信息和启发式规则而非基于句子长度的统计方法的语言无关句子对齐算法。该方法在基于长度的方法失效的情况下提升了对齐准确率，同时能够检测翻译中的增补和删除，跨多种语言对表现出具有竞争力的性能。

ABSTRACT

In this paper we describe an algorithm for aligning sentences with their translations in a bilingual corpus using lexical information of the languages. Existing efficient algorithms ignore word identities and consider only the sentence lengths (Brown, 1991; Gale and Church, 1993). For a sentence in the source language text, the proposed algorithm picks the most likely translation from the target language text using lexical information and certain heuristics. It does not do statistical analysis using sentence lengths. The algorithm is language independent. It also aids in detecting addition and deletion of text in translations. The algorithm gives comparable results with the existing algorithms in most of the cases while it does better in cases where statistical algorithms do not give good results.

研究动机与目标

• 开发一种不依赖句子长度统计的、基于词汇信息而非句子长度统计的语言无关句子对齐方法。
• 在统计长度方法表现不佳的情况下，提升对齐准确率。
• 在对齐过程中检测翻译中的增补和删除。
• 提供一种不依赖句子长度统计分析的稳健启发式驱动方法。
• 在与现有算法相比表现具有竞争力的同时，在边缘情况下表现更优。

提出的方法

• 该算法基于词汇相似性和预设启发式规则，为每个源句选择最可能的翻译句。
• 利用源语言和目标语言的词级词汇信息计算对齐得分。
• 在多个目标句具有相似词汇匹配时，应用启发式规则解决歧义。
• 避免对句子长度进行统计建模，从而与Brown（1991）和Gale与Church（1993）等先前方法区分开来。
• 该算法通过迭代方式执行对齐，利用词汇连贯性和上下文线索优化匹配。
• 引入机制以在翻译过程中检测并标记文本增补和删除。

实验结果

研究问题

• RQ1 如何在不依赖句子长度统计的情况下改进双语语料库中的句子对齐？
• RQ2 与基于长度的方法相比，词汇信息在多大程度上提升了对齐准确率？
• RQ3 语言无关的对齐算法能否有效检测翻译中的增补和删除？
• RQ4 在统计对齐算法失效的情况下，所提出方法的表现如何？
• RQ5 启发式规则在解决对齐过程中词汇匹配歧义时发挥什么作用？

主要发现

• 该算法在大多数标准情况下与现有统计方法的对齐性能相当。
• 在涉及非平行句式结构或翻译风格差异较大的场景中，显著优于基于长度的算法。
• 该方法成功检测了翻译中的增补和删除，这是对纯统计方法的重要优势。
• 利用词汇信息使得在低资源或形态复杂的语言对中实现更优对齐成为可能。
• 由于其语言无关的设计，该算法在多种语言对中表现出强鲁棒性。
• 国际自然语言处理会议2002年的实证结果表明其性能出色，尤其在具有挑战性的对齐案例中表现突出。