[論文レビュー] Automatic Alignment of English-Chinese Bilingual Texts of CNS News

Donghua Xu, Chew Lim Tan|ArXiv.org|Aug 27, 1996

Natural Language Processing Techniques参考文献 6被引用数 3

ひとこと要約

本論文は、中国新聞社（CNS）の英中二か国語ニュース本文の自動対応付けのためのハイブリッド手法を提示する。この手法は、文・節の長さの統計的相関と、数字や地名といった語彙的アンカーを組み合わせるものである。文単位の対応付けに固執するのではなく、節単位での対応付けを可能にすることで、英語と中国語の構造的差異に対応し、二か国語ニュースコーパスにおけるより正確で細分化されたテキスト対応付けを実現する。

ABSTRACT

In this paper we address a method to align English-Chinese bilingual news reports from China News Service, combining both lexical and satistical approaches. Because of the sentential structure differences between English and Chinese, matching at the sentence level as in many other works may result in frequent matching of several sentences en masse. In view of this, the current work also attempts to create shorter alignment pairs by permitting finer matching between clauses from both texts if possible. The current method is based on statiscal correlation between sentence or clause length of both texts and at the same time uses obvious anchors such as numbers and place names appearing frequently in the news reports as lexcial cues.

研究の動機と目的

• 英語と中国語のニュース報道が構造的に異なるにもかかわらず、高い精度で中国新聞社（CNS）のニュースを対応付ける課題に対処すること。
• 構文的構造の相違により複数の文が誤って対応付けられがちな文単位の対応付けの限界を克服すること。
• 可能であれば節単位での対応付けを可能にする手法を開発し、対応付けの精度を向上させること。
• 特に数字や地名を含む統計的および語彙的手がかりを統合し、ニュース本文ペアにおける堅牢な対応付けを実現すること。

提案手法

• この手法は、英語と中国語の本文における文または節の長さの統計的相関を用いて、初期の対応付け候補を導く。
• ニュース報道に頻出する数字や地理的／場所名などの語彙的アンカーを組み込み、対応付けの信頼性を向上させる。
• システムは、両言語における対応する単位間の長さ類似度を測定することで、潜在的な対応付けを評価する。
• 長さの相関と語彙的アンカーが、文単位の単位よりも細分化されたマッチングを支持する場合には、節単位の対応付けを許容する。
• 構造的乖離が検出された場合には、文単位の対応付けに固執せず、複数対一または一対多の対応付けを許容する。
• 最終的な対応付けは、長さの相関と語彙的一致性のチェックの組み合わせによって決定され、ニュース報道の慣習を文脈的に検証する。

実験結果

リサーチクエスチョン

• RQ1 英語と中国語のニュース本文の構造的差異が著しい場合、どのようにして自動対応付けを改善できるか？
• RQ2 節単位の対応付けは、従来の文単位の対応付けに比べて、二か国語テキスト対応付けタスクでどの程度優れているか？
• RQ3 統計的長さ相関と語彙的アンカー（例：数字、地名）は、ニュースコーパスにおける正確な対応付けを導くためにどの程度有効か？
• RQ4 統計的および語彙的手がかりを統合したハイブリッド手法は、単独で用いる場合よりも高い対応付け精度を達成できるか？

主な発見

• この手法は、節単位の対応付けを成功裏に実現し、英語と中国語のニュース本文における構造的乖離によって生じる誤対応付けの誤差を低減した。
• 文および節の長さの統計的相関は、信頼性の高い初期マッチング信号を提供することで、対応付け精度を顕著に向上させた。
• 数字や地名などの語彙的アンカーは、このような要素が頻出するニュース本文において、強力で一貫した対応付けの手がかりとして機能した。
• 長さの相関と語彙的手がかりの統合により、文単位の対応付けのみに依存する場合よりも、より正確で細分化された対応付けが実現した。
• 構文的差異が複雑な中国新聞社の二か国語ニュース報道の対応付けにおいて、本手法の実現可能性と有効性が示された。