[論文レビュー] On the Complementarity between Pre-Training and Random-Initialization for Resource-Rich Machine Translation

Changtong Zan, Liang Ding+4 more|arXiv (Cornell University)|Sep 7, 2022

Natural Language Processing Techniques被引用数 8

ひとこと要約

この論文は、リソース豊富な機械翻訳における事前学習（PT）とランダム初期化（RI）の補完性を調査し、RIがドメイン内精度において優れている一方で、PTが一般化性能とネガティブダイバーシティを向上させることを明らかにした。著者らは、最適輸送を用いてPTとRIモデルを整合・統合するモデル統合手法を提案し、翻訳精度、耐性、多様性の面でWMT17 En-ZhおよびWMT19 En-Deベンチマークで優れた性能を達成した。

ABSTRACT

Pre-Training (PT) of text representations has been successfully applied to low-resource Neural Machine Translation (NMT). However, it usually fails to achieve notable gains (sometimes, even worse) on resource-rich NMT on par with its Random-Initialization (RI) counterpart. We take the first step to investigate the complementarity between PT and RI in resource-rich scenarios via two probing analyses, and find that: 1) PT improves NOT the accuracy, but the generalization by achieving flatter loss landscapes than that of RI; 2) PT improves NOT the confidence of lexical choice, but the negative diversity by assigning smoother lexical probability distributions than that of RI. Based on these insights, we propose to combine their complementarities with a model fusion algorithm that utilizes optimal transport to align neurons between PT and RI. Experiments on two resource-rich translation benchmarks, WMT'17 English-Chinese (20M) and WMT'19 English-German (36M), show that PT and RI could be nicely complementary to each other, achieving substantial improvements considering both translation accuracy, generalization, and negative diversity. Probing tools and code are released at: https://github.com/zanchangtong/PTvsRI.

研究の動機と目的

• 高リソースな機械翻訳設定において、なぜ事前学習がランダム初期化よりも性能を発揮しないのかを理解すること。
• 最適化のランドスケープおよび語彙確率分布の観点から、PTとRIモデルの根本的な違いを調査すること。
• PTとRIの補完的強みを統合し、ニューラル機械翻訳の性能を向上させること。
• 一般化（PT由来）とドメイン内精度（RI由来）の両方の利点を1つのモデルで活用できる統合手法を開発すること。

提案手法

• 2次元可視化を用いて損失関数の平坦性を比較するための損失関数ランドスケープのプロービング分析を実施し、PTとRIモデル間の損失表面の平坦性を評価する。
• エントロピーとネガティブダイバーシティの測定を通じて語彙確率分布を分析し、PTとRIによる平滑化効果を評価する。
• 最適輸送を用いてPTとRIモデル間のニューロンおよび重みを整合するモデル統合フレームワークを提案する。
• 最適輸送距離に基づく重み付き組み合わせを計算することで、統合されたモデルが補完的強みを保持する。
• 2段階の訓練プロセスを採用：まず、単語対訳データ上でmBARTを事前学習し、次に並列データで微調整してPTを実施；RIは同じアーキテクチャでスクラッチから訓練する。
• SacreBLEU、ドメイン外スコア、ノイズ下での耐性（DuA）、複数参照BLEU、およびタイプ・トークン比（TTR）を用いて統合性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 リソース豊富な設定において、なぜ事前学習はランダム初期化に比べてドメイン内翻訳精度を向上させないのか？
• RQ2 PTとRIモデルの最適化ランドスケープにはどのような違いがあり、それらがモデルの一般化性能にどのような影響を及えるのか？
• RQ3 事前学習は語彙確率分布にどのように影響を及ぼし、それはネガティブダイバーシティおよびモデルの耐性とどのように関連するのか？
• RQ4 PTとRIの補完的強みを効果的に統合することで、全体的なNMT性能を向上させられるか？

主な発見

• RIモデルはWMT19 En-Deで35.0 BLEUのドメイン内翻訳精度を達成し、PTの34.9 BLEUを上回り、ターゲットデータに対する最適化性能が優れていることが示された。
• PTモデルは平坦な損失関数ランドスケープと滑らかな語彙確率分布を示し、ドメイン外一般化性能と耐性の向上に寄与した。
• 統合モデルはドメイン外（OD）評価でRIに比べ+0.2 BLEUの向上を示し、一般化性能の向上が確認された。
• 統合モデルはDuA（ドロップ・アンド・アタック）で+4.4の向上を示し、RIに比べ入力ノイズに対する耐性が高まっていることが示された。
• 統合モデルは複数参照BLEUで+0.2 BLEUの向上、TTRで+0.1の増加を示し、翻訳の多様性が向上していることが確認された。
• 最適輸送に基づく整合を用いた統合手法により、PTの強み（一般化、滑らかさ）とRIの強み（ドメイン内精度、信頼性）が効果的に統合された。