[論文レビュー] Data Rejuvenation: Exploiting Inactive Training Examples for Neural Machine Translation

Wenxiang Jiao, Xing Wang+4 more|arXiv (Cornell University)|Oct 6, 2020

Natural Language Processing Techniques参考文献 35被引用数 6

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）データセットにおける非活動的トレーニング例（モデルの性能向上にほとんど寄与しない例）を同定するフレームワーク「データリジェネレーション」を提案する。非活動的例はフォワード翻訳を用いて再利用され、トレーニングの改善に寄与する。活性的例と再活性化された非活動的例の組み合わせで微調整することで、複数のNMTアーキテクチャおよび言語対において一貫したBLEUスコアの向上が得られ、モデルの一般化性能とトレーニングの安定性が向上する。

ABSTRACT

Large-scale training datasets lie at the core of the recent success of neural machine translation (NMT) models. However, the complex patterns and potential noises in the large-scale data make training NMT models difficult. In this work, we explore to identify the inactive training examples which contribute less to the model performance, and show that the existence of inactive examples depends on the data distribution. We further introduce data rejuvenation to improve the training of NMT models on large-scale datasets by exploiting inactive examples. The proposed framework consists of three phases. First, we train an identification model on the original training data, and use it to distinguish inactive examples and active examples by their sentence-level output probabilities. Then, we train a rejuvenation model on the active examples, which is used to re-label the inactive examples with forward-translation. Finally, the rejuvenated examples and the active examples are combined to train the final NMT model. Experimental results on WMT14 English-German and English-French datasets show that the proposed data rejuvenation consistently and significantly improves performance for several strong NMT models. Extensive analyses reveal that our approach stabilizes and accelerates the training process of NMT models, resulting in final models with better generalization capability.

研究の動機と目的

• 大規模NMTデータセットにおける非活動的トレーニング例の存在とその影響を調査すること。
• 非活動的例を同定・再利用できる汎用性の高いフレームワークを開発すること。
• 非活動的例を再活性化することで、モデルの一般化性能と収束速度が向上するかを評価すること。
• データ分布、例の活動性、モデル性能の関係を検討すること。
• 既存のデータ操作技術（例：ノイズ除去や多様化）とデータリジェネレーションの相乗効果を評価すること。

提案手法

• 事前学習済みNMTモデルの文単位出力確率に基づき、例を活性的または非活動的と分類する識別モデルを、元のトレーニングデータ上で学習する。
• 非活動的例は、出力確率が最も低い例として特定され、トレーニングへの寄与が最小であるとされる。
• 再活性化モデルは、活性的例にのみ学習させ、フォワード翻訳を用いて非活動的ソース文に対して新しい翻訳を生成する。
• 再活性化された例は、元の活性的例と組み合わせられ、最終的なNMTモデルの微調整に用いられる。
• このフレームワークは、複数のNMTアーキテクチャ（例：Transformer、LSTM、DynamicConv）および言語対（En-De、En-Fr）に適用される。
• 標準的な指標（BLEUやトレーニング時間）を用いて評価され、有効性を検証するためのアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 大規模NMTデータセットに非活動的トレーニング例は存在するのか？ その存在はモデルアーキテクチャではなく、データ分布に依存するのか？
• RQ2 フォワード翻訳を用いて非活動的例を再利用することで、NMTモデルの性能とトレーニングの安定性が向上するのか？
• RQ3 データリジェネレーションは、既存のデータ操作技術（例：データノイズ除去や多様化）とどのように比較・補完されるのか？
• RQ4 ソース・ターゲットペアの構造的不整合性とトレーニング例の活動性の関係は何か？
• RQ5 再活性化により、難易度の高い例の学習が容易になり、モデルの一般化性能が向上するのか？

主な発見

• Transformer-Baseに適用した場合、WMT14 En-DeではBLEUスコアが0.7向上、WMT14 En-Frでは0.5向上し、複数のモデルで一貫した向上が得られた。
• 大きなモデルバージョン（例：Rej–Big）と組み合わせた場合、最大33時間のトレーニング時間短縮が達成され、トレーニング効率の向上が示された。
• 異なるランダムシード、モデル容量、アーキテクチャにおいても、最も非活動的な例の約80％が一貫して同定された。これは、その例の安定性とデータ分布依存性を裏付ける。
• 最も非活動的なバケットに属する例のうち、人間翻訳によるターゲット→ソースの例が顕著に多く（69%および59%）、これらが学習が難しいと示唆された。
• 再活性化された例はトレーニングを安定化・加速させ、一般化性能に優れたモデルと、難易度の高い例に対する学習のしやすさを向上させた。
• 既存のデータ操作手法と相乗効果を示した：データ多様化やノイズ除去と組み合わせることで、さらなる性能向上が得られた。