[論文レビュー] Acquiring Knowledge from Pre-trained Model to Neural Machine Translation

Rongxiang Weng, Heng Yu+3 more|arXiv (Cornell University)|Dec 4, 2019

Natural Language Processing Techniques参考文献 33被引用数 11

ひとこと要約

本稿では、事前学習モデルから適応されたタスク固有の表現を動的に統合し、文脈知識を継続的に転送するための知識蒸留を適用することで、ニューラル機械翻訳（NMT）を向上させるAptというフレームワークを提案する。この手法は、複数の言語対において翻訳性能を顕著に向上させ、WMT英語→ドイツ語、ドイツ語→英語、中国語→英語のタスクにおいて、標準的な微調整および強力なベースラインを上回る結果を得た。

ABSTRACT

Pre-training and fine-tuning have achieved great success in the natural language process field. The standard paradigm of exploiting them includes two steps: first, pre-training a model, e.g. BERT, with a large scale unlabeled monolingual data. Then, fine-tuning the pre-trained model with labeled data from downstream tasks. However, in neural machine translation (NMT), we address the problem that the training objective of the bilingual task is far different from the monolingual pre-trained model. This gap leads that only using fine-tuning in NMT can not fully utilize prior language knowledge. In this paper, we propose an APT framework for acquiring knowledge from the pre-trained model to NMT. The proposed approach includes two modules: 1). a dynamic fusion mechanism to fuse task-specific features adapted from general knowledge into NMT network, 2). a knowledge distillation paradigm to learn language knowledge continuously during the NMT training process. The proposed approach could integrate suitable knowledge from pre-trained models to improve the NMT. Experimental results on WMT English to German, German to English and Chinese to English machine translation tasks show that our model outperforms strong baselines and the fine-tuning counterparts.

研究の動機と目的

• BERT や GPT のような事前学習済み単語指向モデルに標準的な微調整を適用する際のNMT性能のギャップを是正すること。
• 単語指向の事前学習と双方向翻訳の目的の不一致にもかかわらず、豊富な文脈知識を事前学習モデルからNMTに効果的に転送すること。
• 一般事前学習知識から適応されたタスク固有の表現をNMTエンコーダデコーダアーキテクチャに動的に統合する手法を設計すること。
• 異なるネットワーク層における知識注入の最適な層を特定するため、さまざまな層で統合と蒸留を比較すること。
• 動的統合と知識蒸留を組み合わせることで、微調整のみに比べて優れた翻訳性能が得られることを実証すること。

提案手法

• 事前学習モデルから導出されたタスク固有の表現を、埋め込み層、隠れ層、出力層などの異なる粒度でNMTネットワークに適応的に統合する動的統合メカニズムを提案する。
• NMT学習中に、並列データと単語指向の言語パターンの両方に一致するように、事前学習モデルからの文脈知識を継続的に学習する知識蒸留パラダイムを導入する。
• 入力シーケンス長と層の深さに基づく2つの制御戦略を用いて、特徴統合を最適化するための動的統合メカニズムを適用する。
• 統合プロセス中に、元の言語とターゲット言語の両方の表現を保持するため、マルチヘッドアテンションベースの統合モジュールを採用する。
• 標準翻訳目的と蒸留損失の両方を用いて、NMTモデルをエンドツーエンドで訓練し、事前学習モデルからの段階的知識転送を可能にする。
• 埋め込み層、中間層、出力層などのさまざまなネットワーク層で統合と蒸留を評価し、最も効果的な統合ポイントを同定する。

実験結果

リサーチクエスチョン

• RQ1 BERT や GPT のような事前学習済み単語指向モデルからの文脈知識は、ニューラル機械翻訳システムに効果的に転送可能か？
• RQ2 なぜ標準的な微調整では事前学習知識をNMTで活用できないのか。このギャップを埋めるために必要な構造的または訓練の修正は何か？
• RQ3 NMTエンコーダデコーダアーキテクチャのどの層が、動的統合または知識蒸留による事前学習知識の注入によって最も利益を受けるか？
• RQ4 動的統合と知識蒸留を組み合わせることで、単独で使用する場合よりも優れた性能が得られるか？
• RQ5 統合の粒度（例：埋め込み層対出力層）の選択が、翻訳品質とモデルの一般化能力にどのように影響するか？

主な発見

• Aptフレームワークは、WMT英語→ドイツ語翻訳タスクで28.77のBLEUスコアを達成し、Transformerベースライン（27.31）および微調整ベースラインを上回った。
• 出力層での動的統合が最大の向上をもたらし、28.34のBLEUスコアを記録した。これは、生成段階での文脈知識が最も有益であることを示している。
• 出力層に適用した知識蒸留は28.68のBLEUスコアを達成し、埋め込み層や中間層に適用した場合を上回った。これは、デコード段階における文脈モデリングの重要性を裏付けている。
• すべての層での動的統合と出力層での知識蒸留を組み合わせた場合が、全体として最高の性能を示し、EN→DEタスクで28.77のBLEUスコアを達成した。
• 埋め込み層でのみ事前学習表現を統合すると、ベースラインから0.90 BLEUポイントの向上が得られた。これは、単純な統合でも顕著な向上が得られることを示している。
• 研究の結論として、出力層が知識注入に最も効果的な位置であると結論づけた。なぜなら、出力層は豊富な文脈信号を介して最終的なターゲット文の生成に直接影響を与えるからである。