[論文レビュー] Building a Multi-domain Neural Machine Translation Model using Knowledge Distillation

Idriss Mghabbar, Pirashanth Ratnamogan|arXiv (Cornell University)|Apr 15, 2020

Natural Language Processing Techniques被引用数 8

ひとこと要約

本稿では、複数のドメイン特化型教師モデルから専門知識を抽出することで、1つのマルチドメインニューラル機械翻訳（NMT）モデルを訓練する知識蒸留ベースのフレームワークを提案する。標準的なファインチューニングと比較して最大2.0 BLEUポイントの向上を達成し、推論コストを増加させない。本手法は事前学習済みの汎用的Studentと動的データ選択を用い、2〜4ドメインにわたる知識を効率的に転移する。

ABSTRACT

Lack of specialized data makes building a multi-domain neural machine translation tool challenging. Although emerging literature dealing with low resource languages starts to show promising results, most state-of-the-art models used millions of sentences. Today, the majority of multi-domain adaptation techniques are based on complex and sophisticated architectures that are not adapted for real-world applications. So far, no scalable method is performing better than the simple yet effective mixed-finetuning, i.e finetuning a generic model with a mix of all specialized data and generic data. In this paper, we propose a new training pipeline where knowledge distillation and multiple specialized teachers allow us to efficiently finetune a model without adding new costs at inference time. Our experiments demonstrated that our training pipeline allows improving the performance of multi-domain translation over finetuning in configurations with 2, 3, and 4 domains by up to 2 points in BLEU.

研究の動機と目的

• 実世界の応用において複数のシングルドメインNMTモデルを展開する際のスケーラビリティと効率性の課題に対処する。
• アンサンブル、再ランク付け、入力分類に依存する既存のマルチドメイン適応技術の限界を克服する。これらの手法は複雑さとコストを増加させる。
• 複数の専門的ドメインモデルの専門知識を1つの統合された学生モデルに統合する、スケーラブルで推論コストが低い手法を開発する。
• 知識蒸留が標準的な混合ファインチューニングを上回ることを示し、汎用モデルのシンプルさと高速性を維持する。
• 医療、法的、ソフトウェア、宗教的テキストなど多様なドメインをカバーする2、3、4ドメインへの一般化を実施し、一貫した性能向上を示す。

提案手法

• ドメイン固有のデータを用いて、最先端のシングルドメイン適応技術を用いて複数の専門的教師モデルを訓練する。
• 知識蒸留を用いて、これらの教師モデルから1つの事前学習済み汎用的Studentモデルへ知識を転送する。
• 蒸留の前段階で、教師のファインチューニング中に動的データ選択を適用し、ドメイン固有の性能を向上させる。
• ハードラベル（教師からの出力）とソフトラベル（ログ確信度）の両方を用いて学生モデルを訓練する。負の対数尤度とカルバック・ライブラー発散の重み付き損失を組み合わせる。
• ハイパーパrameter λ を用いて、交差エントロピー損失とKL発散損失のバランスを最適化する。
• 推論効率を保証するため、元の学生アーキテクチャを変更せず、パラメータ数の増加も行わない。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、複数のドメイン特化型教師モデルから得た専門知識を、1つのマルチドメイン学生モデルに効果的に統合できるか？
• RQ2 提案された蒸留フレームワークは、複数のドメインにおいて標準的な混合ファインチューニングと比較してBLEUスコアで優れているか？
• RQ3 ラベルスムージングは、マルチドメインNMTにおける知識蒸留の性能にどのような影響を与えるか？
• RQ4 2、3、4ドメインにおいて、データの複雑さが異なる状況でも、本アプローチはスケーラブルで効果的か？
• RQ5 アンサンブルや従来の分類手法と比較して、翻訳品質を向上させつつ推論効率を維持できるか？

主な発見

• 提案された知識蒸留手法は、2教師設定では混合ファインチューニング比で最大2.0 BLEUポイントの向上を達成し、4教師設定では1.55 BLEUポイントの向上を示した。
• ハードラベル蒸留（HS）戦略がソフトラベル蒸留（SS）を上回り、2、3、4ドメインそれぞれでΔHSの平均は2.0、1.1、1.55 BLEUであった。
• 汎用モデルが低性能を示したMedicalおよびReligionデータセットでは、蒸留手法により顕著な向上が見られ、ベースモデル比で最大20 BLEUポイントの向上を達成した。
• アンサンブルや従来の分類手法を上回り、特にリソースが限られた環境やドメイン外の設定でも優れた性能を示したが、推論コストは低く抑えられた。
• ラベルスムージングは蒸留性能に顕著な悪影響を及ぼし、ハードラベル蒸留がソフトラベル蒸留よりも優れた結果をもたらした。
• 医療（高いベースライン）、Medical（大きな向上）、Software（短い文）、Religion（歴史的言語）など多様なドメインにわたり、本アプローチは良好な一般化性能を示した。