[論文レビュー] A Hybrid Morpheme-Word Representation for Machine Translation of Morphologically Rich Languages

Minh-Thang Luong, Preslav Nakov+1 more|arXiv (Cornell University)|Nov 19, 2019

Natural Language Processing Techniques参考文献 27被引用数 43

ひとこと要約

この論文は、語彙境界認識を組み込んだ形態素レベル翻訳を用いた言語非依存のハイブリッド形態素-単語 SMT モデルを提案し、双子言語モデルと語彙表のマージを組み合わせて、英語-フィンランド語翻訳を改善する。

ABSTRACT

We propose a language-independent approach for improving statistical machine translation for morphologically rich languages using a hybrid morpheme-word representation where the basic unit of translation is the morpheme, but word boundaries are respected at all stages of the translation process. Our model extends the classic phrase-based model by means of (1) word boundary-aware morpheme-level phrase extraction, (2) minimum error-rate training for a morpheme-level translation model using word-level BLEU, and (3) joint scoring with morpheme- and word-level language models. Further improvements are achieved by combining our model with the classic one. The evaluation on English to Finnish using Europarl (714K sentence pairs; 15.5M English words) shows statistically significant improvements over the classic model based on BLEU and human judgments.

研究の動機と目的

• 言語特化ツールを用いず、形態素的に豊かな言語の SMT を改善する動機づけ。
• デコード全体で語境界を尊重しつつ、形態素レベルの翻訳単位を導入する。
• 形態素トークンLMと語トークンLMの双子言語モデルを用いてデコードを強化し、語レベルでのMERT最適化を行う。
• 形態素ベースと語ベースの翻訳表を統合する方法を開発・評価する。
• 大規模 Europarl データを用いた英語→フィンランド語で BLEU と人間評価により改善を実証する。

提案手法

• PRE、STM、SUF トークンを生成する Morfessor ベースの教師なし形態素解析器を採用する。
• 語境界を意識した形態素レベルのフレーズ抽出を実装し、形態素7 tokenを超えても、7語以下にまたがる限り拡張できるようにする。
• 訓練中のBLEU計算のために形態素トークン出力を語列に変換して語トークンレベルで MERT を行う。
• 双子の言語モデル（形態素トークンLMと語トークンLM）を導入し、デコード中に両方でスコアリングする。
• 形態素トークンと語トークン入力からの2つのフレーズ表を補間型手法と、確率的整合性を保つ新しいマージ手法によって結合・正規化する。
• PT_m と PT_w→m を PT_m+phr にマージする双子翻訳モデルを評価し、ベースラインと比較する。）

実験結果

リサーチクエスチョン

• RQ1 語境界を意識した形態素レベル翻訳は、形態素的に豊かな言語における標準的な語レベル SMT を上回ることができるか。
• RQ2 形態素トークンLMと語トークンLMを併用することで、形態素的に豊かな対象言語のデコード性能は改善されるか。
• RQ3 形態素トークンと語トークン翻訳のフレーズ表をマージすることは、単一システム SMT より追加的な改善をもたらすか。
• RQ4 英語→フィンランド語の翻訳品質を改善する際に、形態素的改善が訓練データサイズとどのように相互作用するか。

主な発見

• 形態素ベースの改善は形態素ベースのベースラインよりBLEUの向上をもたらし、語レベルでのMERTを含む調整とphrとlmの組み合わせが最大の改善をもたらす。
• 形態素境界を組み込んだ全体システム、双子LM、およびフレーズ表マージは BLEU 14.82 と m-BLEU 55.64 を達成し、いずれのベースラインシステムよりも上回る（語ベースのベースラインは BLEU 14.58 / m-BLEU 53.05、形態素ベースのベースラインは BLEU 14.08 / m-BLEU 55.26）。
• 補間ベースおよび ourMethod マージ手法は、形態素のみのベースラインよりも大きく改善し、ourMethod が最も高い全データセットBLEU向上を達成（m-systemより0.74ポイント）。
• 人間の判断は提案系を m-system および w-system の両方より支持し、ペアワイズ比較で統計的有意な優位性を示す。
• 分析は翻訳が参照語形に近いことを示し、BLEUスコア以上の意味ある改善を示唆している。