[論文レビュー] Empirical Methods for Compound Splitting

Philipp Koehn, Kevin Knight|ArXiv.org|Feb 22, 2003

Natural Language Processing Techniques被引用数 13

ひとこと要約

本稿では、単語の複合語をドイツ語で分離するための実証的手法を提案する。単語の複合語を分離することで、統計的機械翻訳の性能が向上する。本手法は、複合語分離の精度が99.1%に達し、ドイツ語-英語の名詞句翻訳タスクにおいて機械翻訳性能が0.039 BLEU向上する。

ABSTRACT

Compounded words are a challenge for NLP applications such as machine translation (MT). We introduce methods to learn splitting rules from monolingual and parallel corpora. We evaluate them against a gold standard and measure their impact on performance of statistical MT systems. Results show accuracy of 99.1% and performance gains for MT of 0.039 BLEU on a German-English noun phrase translation task.

研究の動機と目的

• ドイツ語における複合語の問題に取り組み、機械翻訳などの自然言語処理タスクの性能を妨げる要因となる。
• 手動で作成された語彙集に依存せずに、データ駆動型の手法により、複合語の分離ルールを自動で学習する。
• 学習された複合語分離ルールを統計的機械翻訳システムに統合して、性能を向上させる。
• ゴールドスタンダードのテストセットおよびエンドツーエンドの機械翻訳システム上で、これらの手法の有効性を評価する。
• 単語と並列コーパスが、正確な複合語分離モデルの学習に効果的に利用可能であることを示す。

提案手法

• 単語の複合語分離ルールを、語の境界と語彙素的パターンに基づいて学習するため、単語の複合語分離ルールを学習するため、ドイツ語の単語コーパス上で条件付きランダムフィールド（CRF）モデルを訓練する。
• ドイツ語-英語の並列バイリンガルコーパスを用いて、複合語とその翻訳を対応付け、分離パターンを抽出する。
• 単語と並列データを統合することで、複合語分離における汎化性能を向上させ、誤り率を低減する。
• 訓練されたモデルを用いて、翻訳の前に複合名詞をその構成要素に分割する。
• 分離モジュールを統計的機械翻訳システムに統合し、エンドツーエンドの性能向上を評価する。
• 統合された訓練データ上で最尤推定を用いてモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 単語コーパスのみで、ドイツ語の複合語分離に十分な信号を提供できるか？
• RQ2 並列バイリンガルコーパスは、単語コーパスのみに比べて、複合語分離の精度をどの程度向上させるか？
• RQ3 学習された複合語分離ルールを統計的機械翻訳システムに統合すると、性能にどのような影響を与えるか？
• RQ4 ゴールドスタンダードの複合語分離ベンチマークで、実証的手法が達成可能な精度の上限は何か？
• RQ5 提案手法は、ドイツ語の複合名詞のさまざまな種類に一般化可能か？

主な発見

• 提案手法は、ゴールドスタンダードのテストセットにおいて99.1%の複合語分離精度を達成した。
• 統計的機械翻訳システムに学習された分離ルールを統合した結果、ドイツ語-英語の名詞句翻訳タスクで0.039 BLEUの性能向上が得られた。
• 単語コーパスのみで強力なベースライン性能が得られるが、並列データの導入により、汎化性能と耐障害性が顕著に向上した。
• CRFベースのモデルは、ドイツ語の複合語における語彙素的および構文的パターンを効果的に捉えた。
• 複雑な複合語、特に低頻度のケースに対しても、高い正確性と再現率を示した。
• 十分な並列コーパスと単語コーパスが利用可能な場合、データ駆動型アプローチがルールベースのシステムを上回ることを確認した。