[論文レビュー] Phrase Based Language Model For Statistical Machine Translation

Jia Xu, Geliang Chen|arXiv (Cornell University)|Jan 18, 2015

Natural Language Processing Techniques参考文献 12被引用数 4

ひとこと要約

この論文は、統計的機械翻訳（SMT）のためのフレーズベースの言語モデル（LM）を提案する。このアプローチでは、個々の語ではなくフレーズを言語モデリングの基本単位として扱う。全フレーズ分割を実行し、補間とスムージングを用いてフレーズn-gramをモデル化することで、長距離依存関係を捉え、フレーズベース翻訳ユニットと整合性を保ち、結果としてパープレキシティが低く、BLEUスコアが最大+0.45%向上する。

ABSTRACT

We consider phrase based Language Models (LM), which generalize the commonly used word level models. Similar concept on phrase based LMs appears in speech recognition, which is rather specialized and thus less suitable for machine translation (MT). In contrast to the dependency LM, we first introduce the exhaustive phrase-based LMs tailored for MT use. Preliminary experimental results show that our approach outperform word based LMs with the respect to perplexity and translation quality.

研究の動機と目的

• 長距離依存関係や翻訳における文脈的意味を捉えることができない語レベルの言語モデルの限界を解消すること。
• SMTシステムで使用されるフレーズベース翻訳ユニットと整合するフレーズベースの言語モデルを開発すること。
• 統計的言語モデリングにおける独立性仮定を、フレーズを原子的単位としてモデル化することで軽減すること。
• フレーズ境界を構造的制約として用いることで、翻訳の整合性とスムーズさを向上させることの有効性を検討すること。
• 標準的なMTベンチマーク上で、パープレキシティとBLEUスコアの観点からフレーズベースLMの有効性を評価すること。

提案手法

• モデルは、各フレーズを連続する語のシーケンスとして扱い、すべての可能なフレーズセグメンテーションを考慮する言語モデリングの基本単位としてフレーズを採用する。
• 動的計画法を用いてフレーズn-gramを計算し、最大長Nまでの有効なn-gramフレーズシーケンスを収集する。
• 線形結合を用いた補間法により、unigram、bigram、およびそれ以上の順序のフレーズn-gramを統合し、スムージングパラメータλ=0.4を用いる。
• 2つのモデルを提案する：'和'モデルはフレーズn-gramの確率を平均化し、'最大'モデルは全n-gram順序における最大確率を選択する。
• 未観測のフレーズn-gramに対処するために線形補間法によるスムージングを適用し、テストデータにおける一般化性能を向上させる。
• モデルは、トレーニングで15語以内、テストで10語以内の文に制限されたIWSLT 2011コーパスのサブセットで学習される。

実験結果

リサーチクエスチョン

• RQ1 語ではなくフレーズを単位としてモデル化することで、統計的機械翻訳における言語モデルのパープレキシティを改善できるか？
• RQ2 フレーズベースの言語モデルは、語レベルのn-gramモデルに比べて、より優れた長距離依存関係の捉え方を可能にするか？
• RQ3 フレーズ境界を隠れ変数として用いることで、フレーズベースMTにおける翻訳品質と整合性にどのような影響を与えるか？
• RQ4 補間とスムージング技術は、未観測データにおけるフレーズベースLMの性能向上にどの程度寄与するか？
• RQ5 N-bestリストデコードにおける再順序付け基準として用いた場合、フレーズベースLMは語レベルLMを上回るBLEUスコアを達成できるか？

主な発見

• フレーズベース言語モデルは、Tst2011テストセットにおいてベースラインの語レベルLMよりも低いパープレキシティを達成した。特に、最大モデル＋スムージングでは、n=1のベースラインの676.1に対して15.27のパープレキシティを達成した。
• 最大モデルにスムージングを適用した結果、Tst2010テストセットでベースライン比0.45%のBLEUスコア向上を達成した。Dev2010では+0.3%、Tst2011では+0.22%の小さなが一貫した向上も確認された。
• フレーズをより少ない、より大きな単位としてモデル化することで、独立性仮定の数を減らし、より頑健な確率推定が可能になった。
• モデルは「the day before yesterday」のような文脈的フレーズを単一の単位として正しく捉え、意味的整合性を保ち、エントロピーを低減した。
• 最大モデルの例示出力では、ベースラインよりもより自然な文法的整合性を示しており、例えば「specific steps」ではなく「step-by-step instructions」と正しく形成された。
• 結果から、フレーズベースLMはフレーズベースSMTの翻訳プロセスとより一貫しており、翻訳ユニットを一貫して同じものとして使用していることが示された。