[论文解读] Automatic Alignment of English-Chinese Bilingual Texts of CNS News

Donghua Xu, Chew Lim Tan|ArXiv.org|Aug 27, 1996

Natural Language Processing Techniques参考文献 6被引用 3

一句话总结

本文提出一种混合方法，用于自动对齐来自中国新闻社（CNS）的英汉双语新闻文本，结合句子/分句长度的统计相关性与词汇锚点（如数字和地名）。通过实现分句级对齐而非刚性的句子级匹配，该方法在面对英语与汉语之间结构差异时提升了对齐精度，实现了双语新闻语料中更准确、更细粒度的文本对齐。

ABSTRACT

In this paper we address a method to align English-Chinese bilingual news reports from China News Service, combining both lexical and satistical approaches. Because of the sentential structure differences between English and Chinese, matching at the sentence level as in many other works may result in frequent matching of several sentences en masse. In view of this, the current work also attempts to create shorter alignment pairs by permitting finer matching between clauses from both texts if possible. The current method is based on statiscal correlation between sentence or clause length of both texts and at the same time uses obvious anchors such as numbers and place names appearing frequently in the news reports as lexcial cues.

研究动机与目标

• 解决在存在结构差异的情况下，对来自中国新闻社（CNS）的英汉新闻报道实现高精度对齐的挑战。
• 克服句子级对齐的局限性，后者常因句法结构差异导致多个句子错位匹配。
• 开发一种可在可能时实现更细粒度分句级对齐的方法，以提升对齐精度。
• 整合统计与词汇线索（尤其是数字和地名）以实现新闻文本对中稳健的对齐。

提出的方法

• 该方法利用英汉文本中句子或分句长度之间的统计相关性，引导初始对齐候选。
• 通过引入频繁出现在新闻报道中的词汇锚点（如数字和地理/地名）来提升对齐的可靠性。
• 通过测量两种语言中对应单位之间的长度相似性来评估潜在对齐。
• 当长度相关性与词汇锚点支持比句子级单位更细粒度的匹配时，允许进行分句级对齐。
• 当检测到结构差异时，通过允许多对一或一对多的对齐方式，避免刚性的一一对应句子匹配。
• 最终对齐通过长度相关性与词汇一致性检查的结合确定，并在新闻报道惯例的语境下进行验证。

实验结果

研究问题

• RQ1 当两种语言的句子结构存在显著差异时，如何改进英汉双语新闻文本的自动对齐？
• RQ2 在双语文本对齐任务中，分句级对齐在多大程度上优于传统的句子级对齐？
• RQ3 统计长度相关性与词汇锚点（如数字、地名）在引导新闻语料中准确对齐方面的有效性如何？
• RQ4 结合统计与词汇线索的混合方法是否能比单一方法实现更高的对齐精度？

主要发现

• 该方法成功实现了分句级对齐，减少了因英汉新闻文本间结构差异导致的误对齐错误。
• 句子与分句长度的统计相关性显著提升了对齐精度，为可靠的初始匹配信号提供了支持。
• 数字和地名等词汇锚点作为强大且一致的对齐线索，尤其在包含高频此类元素的新闻文本中表现突出。
• 长度相关性与词汇线索的整合，相比仅使用句子级匹配，能实现更精确、更细粒度的对齐。
• 该方法在对齐中国新闻社（CNS）双语新闻报道方面展现出可行性与有效性，尤其适用于句法差异复杂的领域。