[論文レビュー] Data Scaling Laws in NMT: The Effect of Noise and Architecture

Yamini Bansal, Behrooz Ghorbani+6 more|arXiv (Cornell University)|Feb 4, 2022

Natural Language Processing Techniques被引用数 8

ひとこと要約

本稿は、ニューラル機械翻訳（NMT）におけるデータスケーリング法則に、アーキテクチャの選択とデータ品質がどのように影響するかを調査する。主な発見として、モデルアーキテクチャ、データフィルタリング、および独立した合成ノイズの導入といった変更は、主にスケーリング曲線の乗数的シフトを引き起こすが、スケーリング指数にほとんど影響しない。一方、バックトランスレーションはスケーリング指数を著しく劣化させ、これはサンプル効率を低下させる根本的な分布的変化を引き起こしていることを示している。

ABSTRACT

In this work, we study the effect of varying the architecture and training data quality on the data scaling properties of Neural Machine Translation (NMT). First, we establish that the test loss of encoder-decoder transformer models scales as a power law in the number of training samples, with a dependence on the model size. Then, we systematically vary aspects of the training setup to understand how they impact the data scaling laws. In particular, we change the following (1) Architecture and task setup: We compare to a transformer-LSTM hybrid, and a decoder-only transformer with a language modeling loss (2) Noise level in the training distribution: We experiment with filtering, and adding iid synthetic noise. In all the above cases, we find that the data scaling exponents are minimally impacted, suggesting that marginally worse architectures or training data can be compensated for by adding more data. Lastly, we find that using back-translated data instead of parallel data, can significantly degrade the scaling exponent.

研究の動機と目的

• NMTにおけるアーキテクチャの変化とデータ品質要因が、データスケーリング法則に与える影響を理解すること。
• モデルアーキテクチャの改善やデータフィルタリングが、サンプル効率の向上に顕著な寄与をもたらすかどうかを評価すること。
• 合成ノイズやバックトランスレーションを含む異なるデータ分布が、根本的なスケーリング指数を変えるかどうかを調査すること。
• データ品質、アーキテクチャ、データ量のトレードオフを定量化することで、大規模NMT訓練における実証的指針を提供すること。
• スケーリング指数が、深層ネットワークの学習メカニズムの根本的性質を捉えているかどうかを検討すること。

提案手法

• 並列英独語データの増加するサブセット（500K～512M文対）を用いて、エンコーダデコーダ型Transformerモデルを学習する。
• モデルアーキテクチャを系統的に変更：標準Transformer、Transformer-LSTMハイブリッド、言語モデル損失を用いたデコーダオンliyのTransformerを比較する。
• 入力および出力シーケンスに独立した合成ノイズ（i.i.d.）を導入し、データ劣化に対するモデルのロバストネスを評価する。
• Bicleanerおよび対照的データ選択（CDS）を用いたデータフィルタリングを実施し、スケーリング行動に与える影響を評価する。
• さまざまなサイズ（2L6L～64L6L）の独語→英語モデルを用いてバックトランスレーションデータで学習し、分布的影響を評価する。
• 損失 $ \text{loss} \propto \alpha \cdot D^{-p} + C $ の形をとるべきべき乗則スケーリングモデルをフィットさせ、$ D $ をデータセットサイズとして、指数 $ p $、およびパラメータ $ \alpha $、$ C $ の変化を分析する。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャの変更（例：エンコーダデコーダ型対デコーダオンliy型）が、NMTにおけるデータスケーリング指数にどのように影響するか？
• RQ2 データフィルタリングや合成ノイズの導入が、スケーリング指数をどれほど変化させるか。これは、サンプル効率の変化を示唆する。
• RQ3 一般的なデータ拡張手法として用いられるバックトランスレーションは、人間が作成した並列データと比較して、顕著にデータスケーリング指数を劣化させるか？
• RQ4 スケーリング法則が予測するように、モデルアーキテクチャの改善やデータ品質の向上は、訓練データ量の増加によって相殺可能か？
• RQ5 異なるトレーニングパイプラインが根本的に異なるスケーリング行動を示すか、それとも多くの実用的介入に対して指数は不変か？

主な発見

• エンコーダデコーダ型Transformerのテストログ周辺度は、データセットサイズに対してべき乗則に従い、標準的な並列データではスケーリング指数 $ p \approx 0.28 $ である。
• アーキテクチャの変更（例：Transformer-LSTMハイブリッド、デコーダオンliy型）やデータフィルタリング（Bicleaner、CDS）は、スケーリング曲線にのみ乗数的シフトを引き起こし、スケーリング指数 $ p $ に顕著な変化は見られない。
• 入力または出力シーケンスに独立した合成ノイズを追加しても、スケーリング指数にほとんど影響しない。これは、モデルがこのようなノイズに対してロバストであることを示唆している。
• バックトランスレーションはスケーリング指数を著しく低下させ、$ p \approx 0.19 $ にまで低下させる。これは、人間が作成した並列データと比較して、サンプル効率が著しく低下していることを示している。
• より大きなバックトランスレーションモデルは、切片 $ C $ とスケール $ \alpha $ を改善するが、指数 $ p $ に変化はなく、根本的な学習速度に変化がないことを示している。
• 最大のバックトランスレーションモデルですら、スケールで人間が作成した並列データの性能に追いついていない。これは、データ品質の差が、データ量の増加によって完全に相殺されない、持続的なギャップを示している。