[論文レビュー] On Using Monolingual Corpora in Neural Machine Translation

Çaǧlar Gülçehre, Orhan Fırat+7 more|arXiv (Cornell University)|Mar 11, 2015

Natural Language Processing Techniques参考文献 26被引用数 512

ひとこと要約

本稿では、モノリンガル言語モデルをニューラル機械翻訳（NMT）システムに統合するためのディープおよびシャロウ融合手法を提案し、ラベルなしモノリンガルデータを活用することで翻訳品質を向上させている。主な貢献は、低リソースのトルコ語-英語翻訳で最大1.96 BLEUポイントの向上を達成し、高リソースのドイツ語-英語翻訳で0.47の向上を示したことである。また、言語モデル信号の適応的ゲーティングにより、ディープ融合がシャロウ融合を上回る性能を発揮した。

ABSTRACT

Recent work on end-to-end neural network-based architectures for machine translation has shown promising results for En-Fr and En-De translation. Arguably, one of the major factors behind this success has been the availability of high quality parallel corpora. In this work, we investigate how to leverage abundant monolingual corpora for neural machine translation. Compared to a phrase-based and hierarchical baseline, we obtain up to $1.96$ BLEU improvement on the low-resource language pair Turkish-English, and $1.59$ BLEU on the focused domain task of Chinese-English chat messages. While our method was initially targeted toward such tasks with less parallel data, we show that it also extends to high resource languages such as Cs-En and De-En where we obtain an improvement of $0.39$ and $0.47$ BLEU scores over the neural machine translation baselines, respectively.

研究の動機と目的

• 並列モノリンガルデータが乏しい低リソースおよびドメイン特化した設定におけるニューラル機械翻訳の性能向上を目的とする。
• ラベルなしではあるが言語構造が豊富に含まれるモノリンガルコーパスが、NMTシステムでどのように効果的に活用できるかを調査すること。
• 外部言語モデルをNMTアーキテクチャに統合するためのシャロウおよびディープ融合戦略を比較すること。
• モノリンガル言語モデルと翻訳タスクとの間のドメイン類似度が、性能向上の大きさに与える影響を評価すること。
• モノリンガルデータ統合が、De-En や Cs-En のような高リソース言語ペアに対してもNMTの性能を向上させることを示すこと。

提案手法

• 本手法は、ターゲット言語側のモノリンガルデータ上で事前学習されたRNNベースの言語モデルを用い、NMTデコーダーに言語的文脈を提供する。
• シャロウ融合では、デコード中、言語モデルの対数尤度を直接NMTデコーダーの出力ログティトに加算する。
• ディープ融合では、各デコードステップで言語モデルの寄与度を調整する学習可能なゲーティング機構（コントローラー）を導入する。
• コントローラーネットワークは、各トークンに対してゲート値 $ g_t $ を計算し、文脈依存の動的統合を可能にする。
• NMTモデルは、翻訳ターゲットの交差エントロピー損失を用いて、統合された言語モデルとともにエンドツーエンドで微調整される。
• 本手法は、トルコ語-英語、中国語-英語（SMS/チャット）、ドイツ語-英語／チェコ語-英語（WMT’15）の複数の言語ペアで評価されている。

実験結果

リサーチクエスチョン

• RQ1 並列データが限られる状況において、モノリンガルコーパスがニューラル機械翻訳の性能向上に寄与できるか？
• RQ2 外部言語モデルをNMTに統合する際、シャロウ融合とディープ融合の性能はどのように比較されるか？
• RQ3 モノリンガルコーパスと翻訳タスクとの間のドメイン類似度が、性能向上の大きさに影響を与えるか？
• RQ4 De-En や Cs-En のような高リソース言語ペアに対しても、モノリンガルデータ統合がNMT性能の向上に寄与できるか？
• RQ5 ディープ融合におけるコントローラー機構は、ドメイン不一致に対して適応的に耐性を高めることができるか？

主な発見

• 低リソースのトルコ語-英語（Tr-En）タスクでは、ディープ融合がNMTベースライン比で+1.96 BLEUの向上を達成し、以前のフレーズベースシステムを上回った。
• ドメイン特化した中国語-英語（SMS/チャット）タスクでは、+1.59 BLEUの向上を達成し、ドメイン特化翻訳における有効性を示した。
• 高リソースのドイツ語-英語（De-En）タスクでは、ディープ融合がNMTベースラインを0.47 BLEUポイント向上させ、豊富な並列データがある状況でも効果を示した。
• チェコ語-英語（Cs-En）タスクでは、ディープ融合がNMTベースライン比で0.39 BLEUの向上を達成し、多様な言語ペアにわたる一貫性ある向上を確認した。
• ドメイン類似度が高いDe-EnおよびCs-Enタスクでは、ディープ融合のコントローラー機構がより高い平均活性化（$ g_t $）を示し、言語モデル信号の統合がより効果的であった。
• ドメイン不一致の影響により、Zh-Enタスクでは性能向上が著しく小さく、言語モデルのパープレキシティが高水準（223.68）であったことから、この状況ではシャロウ融合の性能が悪かった。