[論文レビュー] Understanding Back-Translation at Scale

Sergey Edunov, Myle Ott+2 more|arXiv (Cornell University)|Aug 28, 2018

Natural Language Processing Techniques参考文献 37被引用数 111

ひとこと要約

要約: 本論文は神経機械翻訳におけるバック翻訳を大規模に分析し、サンプリングまたはビーム生成にノイズを加えた合成ソースがビーム/グリーディMAP出力よりも強力な学習信号をもたらすこと、公開データと大規模なモノリンガルコーパスを用いて最先端の結果をWMTベンチマークで達成したことを示している。

ABSTRACT

An effective method to improve neural machine translation with monolingual data is to augment the parallel training corpus with back-translations of target language sentences. This work broadens the understanding of back-translation and investigates a number of methods to generate synthetic source sentences. We find that in all but resource poor settings back-translations obtained via sampling or noised beam outputs are most effective. Our analysis shows that sampling or noisy synthetic data gives a much stronger training signal than data generated by beam or greedy search. We also compare how synthetic data compares to genuine bitext and study various domain effects. Finally, we scale to hundreds of millions of monolingual sentences and achieve a new state of the art of 35 BLEU on the WMT'14 English-German test set.

研究の動機と目的

• 異なる方法で生成される合成ソース文が神経機械翻訳のバック翻訳に与える影響を評価する。
• さまざまな合成データ生成戦略からの学習信号と学習ダイナミクスを定量化する。
• ドメイン効果を評価し、実データのビットエックスと合成データを高リソース・低リソース設定の両方で比較する。
• バック翻訳を数億件規模のモノリンガル文に拡大し、公的データとベンチマークする。

提案手法

• 実ビットエックスを用い、バック翻訳用に生成された合成ソース文を augmented した前方方向の Transformer ベースの NMT モデル（Big Transformer）を訓練する。
• 合成ソース生成手法を比較: greedy、ビーム探索（ビームサイズ5）、 unrestricted sampling、restricted sampling（top-k で k=10）、ノイズを加えたビーム。
• 訓練中に合成データの投入量を変化させる（例: tens of millions の文対まで）、ビットエックスのアップサンプリングを調整する。
• 合成データとビットエックスの交差エントロピー困難度で訓練信号を測定し、訓練ダイナミクスを分析する。
• モノリンガルニュースデータ由来の BT データと実データのビットエックスを対比させてドメイン効果を評価する。
• 実験を大規模なモノリンガルコーパス（最大 226M 文）へ拡張し、クロスデータセットベンチマークを実施する（WMT’14 English-German、WMT’14 English-French、WMT’18 English-German）。

実験結果

リサーチクエスチョン

• RQ1 合成ソースを生成する方法（サンプリング vs ビーム/グリーディ） は NMT の性能に有意な影響を及ぼすか？
• RQ2 合成データは実データのビットエックスよりも強い学習信号を提供するか、どのリソース条件でこれが最も顕著か？
• RQ3 バック翻訳に用いるモノリンガルデータのドメインは、インドメーション・混合ドメインのテストセットの性能にどう影響するか？
• RQ4 大規模モノリンガルデータを用いたバック翻訳は、実ビットエックスで得られる性能向上を再現・近似できるか？
• RQ5 ビットエックス対合成データのスケーリングとアップサンプリングは最終モデルの精度にどう影響するか？

主な発見

• サンプリングとノイズ入りビーム生成は、argmax ベースの方法（greedy/beam）より一貫して約 0.8–1.1 BLEU 上回る（複数の English–German テストセットで）。
• サンプリングやノイズ付加で生成された合成データは、ビームやグリーディ探索のデータよりはるかに強い学習信号を提供し、最終モデルの BLEU と困難度パターンで示される。
• ドメインが一致する場合（BT-news が新Test2012の BT-bitext に近い）では、合成データが実ビットエックスが提供する利得の大部分（最大 83%）に匹敵することがある。
• WMT’14 English–German では、サンプリングと 226M のモノリンガル文を用いたバック翻訳が、公開ベンチマークデータだけで新たな最先端 35 BLEU（トークン化）を達成；WMT’14 English–French では 45.6 BLEU（トークン化）を報告。
• 複数の BT モデルのアンサンブルとソースコピーのフィルタリングが、WMT’18 English–German の結果を強化し、ベースラインを大きく上回った。
• 総じて、サンプリング/ノイズ付き出力を用いる BT は、拡張性が高く高品質な非ベンチマークデータと競合する堅牢なデータ拡張戦略である。