[論文レビュー] Explaining and Generalizing Back-Translation through Wake-Sleep

Ryan Cotterell, Julia Kreutzer|arXiv (Cornell University)|Jun 12, 2018

Topic Modeling参考文献 28被引用数 16

ひとこと要約

この論文は、ビテキストの生成モデルにおける1ステップのウェイクスリープアルゴリズムに相当するバックトランスレーションの原理的変分推論解釈を提供する。英語–ドイツ語および英語–ラトビア語翻訳タスクにおいて、翻訳性能を最大1.6 BLEU向上させる反復的拡張を提案し、ドメイン内およびクロスドメイン設定の両方で一貫した向上を示している。

ABSTRACT

Back-translation has become a commonly employed heuristic for semi-supervised neural machine translation. The technique is both straightforward to apply and has led to state-of-the-art results. In this work, we offer a principled interpretation of back-translation as approximate inference in a generative model of bitext and show how the standard implementation of back-translation corresponds to a single iteration of the wake-sleep algorithm in our proposed model. Moreover, this interpretation suggests a natural iterative generalization, which we demonstrate leads to further improvement of up to 1.6 BLEU.

研究の動機と目的

• ニューラル機械翻訳におけるバックトランスレーションの原理的生成モデル解釈を提供すること。
• 標準的なバックトランスレーションが変分推論フレームワーク内での1回のウェイクスリープ反復に相当することを示すこと。
• ウェイクスリープアルゴリズムに基づくバックトランスレーションの反復的拡張を提案および評価すること。
• 複数の言語対およびドメインにおいて翻訳品質の向上が一貫して得られることを示すこと。
• バックトランスレーションの理論的基盤を確立し、将来的な手法の拡張を可能にすること。

提案手法

• 著者らは、同時確率分布を p(y|x) * p(x) として因数分解する完全な生成モデルを構築し、p(y|x) を翻訳モデル、p(x) を言語モデルとする。
• バックトランスレーションは、ターゲット文 y が与えられたもとでの潜在的ソース文 x の推論ネットワークとしての後方翻訳機が果たす変分近似として解釈される。
• この手法は、バックトランスレーションをウェイクフェーズ（翻訳モデルの最適化）とスリープフェーズ（推論ネットワークの最適化）を含む1ステップのウェイクスリープアルゴリズムとしてフレームワーク化する。
• 提案手法は、このプロセスを複数回のウェイクスリープ反復に拡張し、前向きおよび後向き翻訳モデルを繰り返し再推定する。
• モデルはビテキストに対する最尤推定で学習され、開発セットでの早期停止を伴うモノリンガルデータでのバックトランスレーションによるファインチューニングが行われる。
• 実験では、アテンションを備えた標準的なエンコーダ–デコーダモデル、GRU、サブワードトークン化、および標準的な正則化技術が用いられる。

実験結果

リサーチクエスチョン

• RQ1 バックトランスレーションはどのように生成モデルフレームワーク内で形式的に解釈できるか？
• RQ2 変分推論におけるバックトランスレーションとウェイクスリープアルゴリズムの関係は何か？
• RQ3 前向きおよび後向き翻訳モデルの反復的最適化は、翻訳性能の向上に寄与するか？
• RQ4 提案されたバックトランスレーションの反復的拡張は、異なる言語対およびドメインにおいて一貫した向上をもたらすか？
• RQ5 原理的解釈されたバックトランスレーションは、半教師ありニューラル機械翻訳における将来的な改善を導く手がかりとなるか？

主な発見

• 提案されたバックトランスレーションの反復的拡張は、英語–ドイツ語および英語–ラトビア語翻訳タスクにおいて、標準的なバックトランスレーションよりも最大1.6 BLEUの翻訳性能向上を達成した。
• 特に、TEDトークスデータを用いた半教師ありドメイン適応設定において、最も顕著な向上が得られた。
• WMT（ドメイン内）およびTED（クロスドメイン）の両設定において一貫した向上が得られ、多くの場合、最初のバックトランスレーションステップで相対的に最大の向上が観察された。
• この手法により、バックトランスレーションが1回のウェイクスリープ反復に相当することが実証され、生成モデル内での変分推論との関連性が裏付けられた。
• 反復的最適化プロセスにより、モノリンガルデータがターゲット分布とよりよく一致し、ノイズが低減され、モデルの一般化性能が向上した。
• 結果から、原理的生成モデリングが半教師ありニューラル機械翻訳における実用的改善をもたらす可能性があることが示唆された。