[論文レビュー] Dual Learning for Machine Translation

Yingce Xia, Di He+5 more|arXiv (Cornell University)|Nov 1, 2016

Natural Language Processing Techniques参考文献 14被引用数 598

ひとこと要約

本論文は dual-NMT を提案する。二つの翻訳モデルがラベルなしのモノリンガルデータを、閉ループで往復翻訳することによって学習する強化学習フレームワーク。限られたバイリンガルデータで競争力のある結果を達成する。

ABSTRACT

While neural machine translation (NMT) is making good progress in the past two years, tens of millions of bilingual sentence pairs are needed for its training. However, human labeling is very costly. To tackle this training data bottleneck, we develop a dual-learning mechanism, which can enable an NMT system to automatically learn from unlabeled data through a dual-learning game. This mechanism is inspired by the following observation: any machine translation task has a dual task, e.g., English-to-French translation (primal) versus French-to-English translation (dual); the primal and dual tasks can form a closed loop, and generate informative feedback signals to train the translation models, even if without the involvement of a human labeler. In the dual-learning mechanism, we use one agent to represent the model for the primal task and the other agent to represent the model for the dual task, then ask them to teach each other through a reinforcement learning process. Based on the feedback signals generated during this process (e.g., the language-model likelihood of the output of a model, and the reconstruction error of the original sentence after the primal and dual translations), we can iteratively update the two models until convergence (e.g., using the policy gradient methods). We call the corresponding approach to neural machine translation \emph{dual-NMT}. Experiments show that dual-NMT works very well on English$\leftrightarrow$French translation; especially, by learning from monolingual data (with 10% bilingual data for warm start), it achieves a comparable accuracy to NMT trained from the full bilingual data for the French-to-English translation task.

研究の動機と目的

• ニューラル機械翻訳（NMT）における高価なバイリンガルデータへの依存を減らす動機づけ。
• モノリンガルデータを用いて二つの翻訳モデルが互いに教え合うデュアル学習ゲームを提案する。
• 両方向の翻訳を共同で最適化する、強化学習ベースのアルゴリズム（dual-NMT）を開発する。
• 限られた平行データでEn↔Frに対するdual-NMTの有効性を示し、ベースラインと比較する。

提案手法

• MTを二エージェントのデュアルタスクとして定式化する。A→BとB→Aの翻訳が閉ループを形成する。
• 両言語のモノリンガルコーパスを、整列データなしで学習ソースとして用いる。
• 言語モデル報酬と再構成/通信報酬を用いて、逆伝播の総報酬を定義する。
• ビーム探索の中間翻訳を用いた方略勾配法を適用して勾配を推定する。
• バイリンガルデータでウォームスタートし、徐々にモノリンガルデータへ依存を高める（ソフトランディング）。
• En→FrおよびFr→Enで標準NMTおよびpseudo-NMTベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 デュアル学習は、モノリンガルデータのみ、または限られたバイリンガルデータで、効果的なNMT学習を実現できるか？
• RQ2 En↔Fr翻訳におけるdual-NMTの性能は、標準NMTおよびpseudo-NMTと比較してどうか？
• RQ3 デュアル学習は自己再構成品質とバックトランスレーションの一貫性を改善するか？
• RQ4 ウォームスタートデータ量がdual-NMTの性能に与える影響は何か？

主な発見

システム	En → Fr（大規模）	Fr → En（大規模）	En → Fr（小規模）	Fr → En（小規模）
NMT	29.92	27.49	25.32	22.27
pseudo-NMT	30.40	27.66	25.63	23.24
dual-NMT	32.06	29.78	28.73	27.50

• Dual-NMTは、En→FrおよびFr→Enの全設定でNMTおよびpseudo-NMTを上回る。
• 10%のバイリンガルデータでは、Dual-NMTは100%のバイリンガルデータで訓練したNMTと同等のFr→En性能を達成する。
• デュアル-NMTの自己再構成（バックトランスレーション）BLEUスコアは、ベースラインより著しく高く（設定によっては約20ポイント程度まで上昇）。
• ビーム探索に基づく中間翻訳は、ランダムサンプリングより意味のある勾配推定を提供する。
• 平行データが不足するほどDual-NMTは大きな利得を生み、モノリンガルデータの活用力が強いことを示す。