[論文レビュー] Semi-Supervised Learning for Neural Machine Translation

Yong Cheng, Wei Xu+5 more|arXiv (Cornell University)|Jun 15, 2016

Natural Language Processing Techniques被引用数 61

ひとこと要約

この論文は、モノリンガルコーパスを用いて双方向NMTモデルをオートエンコーダーとして訓練することで、半教師付きニューラル機械翻訳フレームワークを提案する。翻訳のエンコーダーとして元の言語から目標言語への翻訳を、デコーダーとして目標言語から元の言語への翻訳を用い、モノリンガル文を再構築する。この手法は、擬似並列データを繰り返し精錬することで、中国語-英語NISTベンチマークで顕著なBLEUスコアの向上（最大+1.8および+1.0）を達成し、アーキテクチャの変更を一切必要としない。

ABSTRACT

While end-to-end neural machine translation (NMT) has made remarkable progress recently, NMT systems only rely on parallel corpora for parameter estimation. Since parallel corpora are usually limited in quantity, quality, and coverage, especially for low-resource languages, it is appealing to exploit monolingual corpora to improve NMT. We propose a semi-supervised approach for training NMT models on the concatenation of labeled (parallel corpora) and unlabeled (monolingual corpora) data. The central idea is to reconstruct the monolingual corpora using an autoencoder, in which the source-to-target and target-to-source translation models serve as the encoder and decoder, respectively. Our approach can not only exploit the monolingual corpora of the target language, but also of the source language. Experiments on the Chinese-English dataset show that our approach achieves significant improvements over state-of-the-art SMT and NMT systems.

研究の動機と目的

• 低リソース言語向けに特に深刻な、神経機械翻訳（NMT）システムが単一の希少な並列コーパスに依存するという制限を是正すること。
• 両方の言語（元言語および目標言語）の豊富なモノリンガルコーパスを活用してNMTのパフォーマンスを向上させること。
• 既存のNMTアーキテクチャに対して透明な方法でモノリンガルデータを統合する手法を開発すること。
• 反復的再構築を通じて、元言語→目標言語および目標言語→元言語モデル間の双方向的相互作用を可能にすること。
• 下位のNMTモデル構造を変更せずに、翻訳の流暢さと正確性を向上させること。

提案手法

• モノリンガルコーパス上でオートエンコーダーを形成するために、元言語→目標言語NMTモデルをエンコーダー、目標言語→元言語モデルをデコーダーとして訓練する。
• 並列データに対する教師あり尤度とモノリンガルデータに対する再構築項を含む共同訓練目的関数を定式化する。
• 再構築目的関数を用いて、翻訳から元のモノリンガル文を回復する尤度を最大化する：$ P(\textbf{x}^*|\textbf{y}; \overleftarrow{\bm{\theta}})P(\textbf{y}|\textbf{x}; \overrightarrow{\bm{\theta}}) $。
• 反復的精錬を実行：擬似並列モノリンガル翻訳を生成し、実際の並列データと組み合わせてNMTモデルを再訓練する。
• 推論時に全探索空間をサンプリングすることで、再構築の効率性と安定性を向上させる。
• 元言語および目標言語の両方のモノリンガルコーパスにこの手法を適用し、双方向的言語モデルを可能にする。

実験結果

リサーチクエスチョン

• RQ1 元言語および目標言語の両方のモノリンガルコーパスを、アーキテクチャの変更なしにNMTで効果的に活用できるか？
• RQ2 双方向NMTモデルをオートエンコーダーとして用いることで、標準NMTやSMTと比較して翻訳品質が向上するか？
• RQ3 擬似並列データの反復的精錬が翻訳パフォーマンスに与える影響は何か？
• RQ4 提案手法は中国語-英語のような低リソース言語ペアで顕著な向上を達成できるか？
• RQ5 元言語→目標言語および目標言語→元言語モデル間の相互作用が、再構築および翻訳品質にどのように寄与するか？

主な発見

• 提案手法は、中国語-英語NISTデータセットにおいて、最先端のSMTおよびNMTシステムを大きく上回る顕著な向上を達成し、中国語→英語翻訳で最大+1.8 BLEU、英語→中国語翻訳で+1.0 BLEUの向上を達成した。
• 反復的精錬と双方向モデル相互作用のおかげで、擬似並列コーパスを用いる先行手法を上回った。
• モノリンガル文のヴィタビ翻訳が反復を重ねるごとに向上し、より良い文の表現が段階的に学習されていることが示された。
• この手法はNMTアーキテクチャに対して透明であり、下位のNMTモデル構造を変更せずに、任意のエンドツーエンドNMTシステムに適用可能である。
• 元言語および目標言語の両方のモノリンガルコーパスの使用により、より良い言語モデルが構築され、翻訳の流暢さが向上した。
• 再構築目的関数はNMTモデルを効果的に正則化し、低リソース環境での一般化性能を向上させた。