[論文レビュー] Aligning a Parallel English-Chinese Corpus Statistically with Lexical Criteria

Dekai Wu|arXiv (Cornell University)|Jun 2, 1994

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、語彙的手がかりと文長を用いた統計的手法を提示し、GaleおよびChurchの長さに基づくアプローチを改善する。ドメイン固有の語彙と統計モデリングを統合することで、香港科技大学英中並列コーパスにおいて、より高いアライメント精度を達成し、非インド・ヨーロッパ語族の対訳ペアに有効であることを示している。

ABSTRACT

We describe our experience with automatic alignment of sentences in parallel English-Chinese texts. Our report concerns three related topics: (1) progress on the HKUST English-Chinese Parallel Bilingual Corpus; (2) experiments addressing the applicability of Gale & Church's length-based statistical method to the task of alignment involving a non-Indo-European language; and (3) an improved statistical method that also incorporates domain-specific lexical cues.

研究の動機と目的

• 非インド・ヨーロッパ語族の文書、特に英中並列コーパスにおける自動文アライメントの課題に対処すること。
• GaleおよびChurchの長さに基づく統計的アライメント手法が、中国語-英語並列テキストに適用可能かどうかを評価すること。
• 統計モデルにドメイン固有の語彙的情報を統合することで、アライメント精度を向上させること。

提案手法

• 本手法は、GaleおよびChurchの長さに基づく統計的アライメントを、文対間の語彙的類似度スコアを統合することで拡張する。
• 文長比と語彙的オーバーラップを組み合わせた確率的モデルを用い、アライメントの尤もらしさを推定する。
• 同定された語彙的情報（類縁語に似た語や専門用語など）を用いて、アライメント確率に重みを付ける。
• 最大尤度推定フレームワークを用い、最も確率の高い文アライメントを特定する。
• モデルは、手作業で整備された二か国語テキストコレクションであるHKUST英中並列双語コーパスを用いて訓練および評価する。
• 反復的リファインメントプロセスにより、語彙的および長さに基づく証拠に基づいてアライメント確率を調整し、収束性と正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 英中並列コーパスにGaleおよびChurchの長さに基づく統計的アライメント手法を適用できるか。特に、顕著な形態文法的相違があるにもかかわらず。
• RQ2 ドメイン固有の語彙的情報の統合が、非インド・ヨーロッパ語族の対訳ペアにおけるアライメント精度に与える影響は何か。
• RQ3 語彙的特徴と長さに基づく特徴を組み合わせることで、長さのみの手法に比べてアライメントパフォーマンスがどの程度向上するか。

主な発見

• 語彙的情報の統合により、長さに基づく手法に比べてアライメント精度が顕著に向上した。特に用語密度の高いドメインでは顕著であった。
• 提案手法は、ベースラインの長さのみのモデルに比べ、HKUSTコーパスでより高いF1スコアを達成し、多様なテキストタイプにわたる頑健性を示した。
• 語彙的類似度測定値、特に内容語と固有名詞の類似度が、正しいアライメント意思決定に顕著な貢献をした。
• モデルは、さまざまなテキストジャンルにわたって一貫したパフォーマンスを示し、特定のドメインに限定されない汎用性を示した。
• 反復的リファインメントプロセスにより、曖昧な文対における収束性が向上し、アライメント誤りが減少した。
• 結果から、語彙的特徴を適切に統合すれば、中国語のような非インド・ヨーロッパ語族の言語も統計的手法で効果的にアライメント可能であることが確認された。