[论文解读] Aligning a Parallel English-Chinese Corpus Statistically with Lexical Criteria

Dekai Wu|arXiv (Cornell University)|Jun 2, 1994

Natural Language Processing Techniques被引用 5

一句话总结

本文提出一种基于词汇线索和句子长度的统计方法，用于对齐平行英文-中文句子对，改进了Gale和Church基于长度的方法。通过整合领域特定词汇和统计建模，该方法在HKUST英文-中文平行语料库上实现了更高的对齐准确率，证明了其在非印欧语系语言对中的有效性。

ABSTRACT

We describe our experience with automatic alignment of sentences in parallel English-Chinese texts. Our report concerns three related topics: (1) progress on the HKUST English-Chinese Parallel Bilingual Corpus; (2) experiments addressing the applicability of Gale & Church's length-based statistical method to the task of alignment involving a non-Indo-European language; and (3) an improved statistical method that also incorporates domain-specific lexical cues.

研究动机与目标

• 解决平行英文-中文语料库中自动句子对齐的挑战，特别是针对非印欧语系语言。
• 评估Gale和Church基于长度的统计对齐方法在英汉平行文本中的适用性。
• 通过将领域特定的词汇信息整合到统计模型中，提升对齐准确率。

提出的方法

• 该方法在Gale和Church基于长度的统计对齐基础上，整合了句子对之间的词汇相似度得分。
• 采用一种概率模型，结合句子长度比例和词汇重叠，以估计对齐可能性。
• 提取了特定领域的词汇线索——如类词源词和术语——并用于加权对齐概率。
• 该方法采用最大似然估计框架，以确定最可能的句子对齐结果。
• 模型在HKUST英文-中文平行双语语料库上进行训练和评估，该语料库为人工整理的双语文本集合。
• 通过迭代优化过程，基于词汇和长度证据调整对齐概率，提升收敛性和准确率。

实验结果

研究问题

• RQ1 尽管存在显著的形态句法差异，Gale和Church基于长度的统计对齐方法是否能有效应用于英文-中文平行语料库？
• RQ2 在非印欧语系语言对中，引入领域特定的词汇线索如何影响对齐准确率？
• RQ3 与仅基于长度的方法相比，结合词汇和长度特征在多大程度上提升了对齐性能？

主要发现

• 与仅使用长度的方法相比，整合词汇线索显著提升了对齐准确率，尤其在术语密度较高的领域表现更优。
• 与基线仅基于长度的模型相比，所提出的方法在HKUST语料库上取得了更高的F1值，表明其在多种文本类型中均具有鲁棒性。
• 词汇相似度度量，特别是内容词和命名实体的度量，对正确对齐决策有显著贡献。
• 该模型在不同文本体裁中表现出一致性能，表明其具备超越特定领域的泛化能力。
• 迭代优化过程提升了收敛性，并减少了模糊句子对中的对齐错误。
• 结果证实，当适当地整合词汇特征时，像中文这样的非印欧语系语言也能通过统计方法实现有效对齐。