[論文レビュー] AR: Auto-Repair the Synthetic Data for Neural Machine Translation

Shanbo Cheng, Shaohui Kuang+4 more|arXiv (Cornell University)|Apr 5, 2020

Natural Language Processing Techniques参考文献 25被引用数 4

ひとこと要約

本稿では、逆翻訳や前向き翻訳によって生成されるノイズの多い翻訳を学習することで、ニューラル機械翻訳のための合成平行データを改善するseq2seqベースのフレームワーク、Auto-Repair (AR) を提案する。単語ごとのデータとターゲットごとのデータを用いて別々に訓練されたソース・トゥ・ソースおよびターゲット・トゥ・ターゲットの修復モデルを用いることで、翻訳品質が顕著に向上し、WMT14 EN→DEでは最大2.07 BLEU、IWSLT14 DE→ENでは最大3.85 BLEUの向上を達成した。

ABSTRACT

Compared with only using limited authentic parallel data as training corpus, many studies have proved that incorporating synthetic parallel data, which generated by back translation (BT) or forward translation (FT, or selftraining), into the NMT training process can significantly improve translation quality. However, as a well-known shortcoming, synthetic parallel data is noisy because they are generated by an imperfect NMT system. As a result, the improvements in translation quality bring by the synthetic parallel data are greatly diminished. In this paper, we propose a novel Auto- Repair (AR) framework to improve the quality of synthetic data. Our proposed AR model can learn the transformation from low quality (noisy) input sentence to high quality sentence based on large scale monolingual data with BT and FT techniques. The noise in synthetic parallel data will be sufficiently eliminated by the proposed AR model and then the repaired synthetic parallel data can help the NMT models to achieve larger improvements. Experimental results show that our approach can effective improve the quality of synthetic parallel data and the NMT model with the repaired synthetic data achieves consistent improvements on both WMT14 EN!DE and IWSLT14 DE!EN translation tasks.

研究の動機と目的

• データ拡張によるパフォーマンス向上の限界を受ける、ニューラル機械翻訳における合成平行データのノイズ問題を解決すること。
• 反復的再訓練や複雑なデータフィルタリングを必要とせず、低コストでスケーラブルな合成データ品質向上手法を開発すること。
• モノリンガルデータと事前学習済みNMTモデルを用いて、合成文を直接修復し、下流の翻訳品質を向上させること。

提案手法

• モノリンガルデータを用いて、低品質な合成文をより高品質な文に変換するための別個のS2SおよびT2T自動修復モデルを訓練する。
• 事前学習済みのS2TおよびT2Sモデルを用いてモノリンガルソースから合成データを生成し、その後ARモデルを適用して精錬する。
• 元のデータと修復済みの合成データを組み合わせ、最終的なNMT学習プロセスに統合し、本物のデータ、FT、BT、および修復済みFT/BTデータを統合する。
• 訓練中にAdam最適化とビームサーチデコードを用い、ウォームアップ学習率スケジュールを適用する。
• 開発セットを用いてBLEU、変化率、およびより良い割合という指標で修復品質を評価し、元の合成データとの改善度を測定する。
• 二段階訓練戦略を採用：まずARモデルを合成文→本物文のペアで訓練し、次に組み合わせたデータで主NMTモデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 seq2seqベースの自動修復モデルは、逆翻訳や前向き翻訳によって生成された合成平行データの品質を効果的に向上させることができるか？
• RQ2 合成データの修復は、異なる言語対やデータセットにおいて一貫したNMTパフォーマンス向上をもたらすか？
• RQ3 ARモデルによって実際に変更された合成データの割合はどの程度で、修復後の文のうち元の合成文よりも高いBLEUスコアを達成した割合はどの程度か？
• RQ4 ARフレームワークは、高価な反復的再訓練を必要とせずに、さまざまな種類の合成データに効率的に適用可能か？
• RQ5 元の合成データと修復済みの合成データを組み合わせることで、単に元の合成データのみを使用する場合よりも優れたNMTパフォーマンスが得られるか？

主な発見

• WMT14 EN→DE翻訳タスクにおいて、BASE + BTR-ADD + FTR-ADDモデルはベースライン比で2.07 BLEUポイントの向上を達成した。
• IWSLT14 DE→ENタスクでは、最良のARモデルがベースライン比で3.85 BLEUポイント、強力な合成ベースライン（BT+FT）比で1.19 BLEUポイントの向上を達成した。
• EN→DEおよびDE→ENの両タスクにおいて、合成データのBLEUスコアが11点以上向上し、品質向上の有効性が裏付けられた。
• 76％を超える合成文がARモデルによって変更されており、変換パターンの学習が顕著に実施されたことが示された。
• 修復済み文の69％以上が、元の合成文よりも高い文単位のBLEUスコアを達成しており、一貫した品質向上が確認された。
• 両タスク全体で、ARフレームワークはベースライン比で平均2.96 BLEUポイント、強力な合成データベースライン比で0.97 BLEUポイントの向上を達成した。