[论文解读] Aligning Noisy Parallel Corpora Across Language Groups : Word Pair Feature Matching by Dynamic Time Warping

Pascale Fung, Kathleen McKeown|ArXiv.org|Sep 22, 1994

Natural Language Processing Techniques参考文献 2被引用 43

一句话总结

该论文提出DK-vec，一种新颖算法，用于在无句子边界或相同字符序列的情况下，对亚洲语系与印欧语系之间的噪声平行语料进行对齐。该方法利用动态时间规整（DTW）基于频率、位置和新近性特征匹配词对，生成一个小型、可靠的双语词典，作为对齐的锚点——在噪声OCR和多语言语料上均表现出高准确率，尤其在名词和术语对上表现优异。

ABSTRACT

We propose a new algorithm called DK-vec for aligning pairs of Asian/Indo-European noisy parallel texts without sentence boundaries. DK-vec improves on previous alignment algorithms in that it handles better the non-linear nature of noisy corpora. The algorithm uses frequency, position and recency information as features for pattern matching. Dynamic Time Warping is used as the matching technique between word pairs. This algorithm produces a small bilingual lexicon which provides anchor points for alignment.

研究动机与目标

• 解决在缺乏或不可靠句子边界的情况下，对跨语言组的噪声平行语料进行对齐的挑战。
• 克服现有对齐方法对句子级锚点或相同字符序列（如同源词）的依赖，这些方法在亚洲/印欧语系对中失效。
• 开发一种方法，以在缺乏清晰结构线索的情况下，推断出小型、可靠的双语词典作为对齐的锚点。
• 实现在缺少标点或句子分隔符的OCR处理或噪声文本中的对齐，这些文本的标点和句子断点可能缺失或损坏。
• 为基于EM的迭代对齐算法（如机器翻译中的方法）提供稳健的初始化。

提出的方法

• DK-vec将源语料和目标语料中的每个词表示为一个向量，编码其在分段文本块中的频率、位置和新近性。
• 通过计算词对向量之间的动态时间规整（DTW）距离来度量相似性，将对齐视为一个模式匹配问题。
• 该算法采用滑动窗口方法将文本分割为K个部分，避免依赖预定义的句子边界。
• 选择DTW得分最低的词对作为候选翻译，形成小型双语词典。
• 该方法以双向方式应用（例如，中文到英文和英文到中文），并将结果合并以提升覆盖率和准确性。
• 利用同源词或共现术语（如技术术语、专有名词）在不同语言中表现出相似分布模式的事实。

实验结果

研究问题

• RQ1 能否在不依赖句子边界或相同字符序列的情况下，从无结构噪声平行语料中可靠地推断出双语词典？
• RQ2 动态时间规整在基于频率、位置和新近性特征跨语言组匹配词对方面有多有效？
• RQ3 所生成的小型词典能否作为后续对齐或翻译任务的稳定锚点？
• RQ4 为何名词短语和技术术语在这些语料中表现出强于功能词或动词的对齐信号？
• RQ5 DK-vec在包括语法结构差异较大的亚洲语系与印欧语系在内的多种语言对中，其泛化能力如何？

主要发现

• DK-vec算法成功生成了双语词典，输出列表前42项中正确对齐的词对达32对，显示出在技术术语和名词类词对上的高精度。
• 即使在噪声OCR数据和缺乏句子边界的语料上，该方法也实现了稳健对齐，如图2所示的对齐路径尽管存在文本级失真，仍保持对角趋势，验证了其有效性。
• 名词短语和技术术语（如'carbon monoxide'和'Deputy'）由于在不同语言中表现出一致的分布模式，显示出强烈的对齐信号。
• 通过引入新近性和位置特征，该算法在噪声环境下优于K-vec，减少了对二值化分段存在的依赖。
• 所生成的词典可作为迭代对齐方法（如基于EM的方法）的可行初始化，表明其在大规模机器翻译流水线中的实用性。
• DK-vec的双向应用产生了略有不同但互补的词对，表明合并双向结果可提升覆盖率和可靠性。