[論文レビュー] XtremeDistilTransformers: Task Transfer for Task-agnostic Distillation

Subhabrata Mukherjee, Ahmed Hassan Awadallah+1 more|arXiv (Cornell University)|Jun 8, 2021

Topic Modeling参考文献 36被引用数 8

ひとこと要約

XtremeDistilTransformersは、特に自然言語推論（NLI）から得られるタスク固有の知識を活用して、コンパクトで汎用的な学生モデルを訓練する、タスクに依存しない蒸留フレームワークを提案する。大規模な教師モデルから複数の層にわたる深層表現と注目状態を転送し、タスク固有のデータ拡張を適用することで、エンコーダーの87倍の圧縮を達成しつつ、41言語のNERベンチマークでmBERTと比較してF1スコアの差が5.07%にとどまる。

ABSTRACT

While deep and large pre-trained models are the state-of-the-art for various natural language processing tasks, their huge size poses significant challenges for practical uses in resource constrained settings. Recent works in knowledge distillation propose task-agnostic as well as task-specific methods to compress these models, with task-specific ones often yielding higher compression rate. In this work, we develop a new task-agnostic distillation framework XtremeDistilTransformers that leverages the advantage of task-specific methods for learning a small universal model that can be applied to arbitrary tasks and languages. To this end, we study the transferability of several source tasks, augmentation resources and model architecture for distillation. We evaluate our model performance on multiple tasks, including the General Language Understanding Evaluation (GLUE) benchmark, SQuAD question answering dataset and a massive multi-lingual NER dataset with 41 languages. We release three distilled task-agnostic checkpoints with 13MM, 22MM and 33MM parameters obtaining SOTA performance in several tasks.

研究の動機と目的

• タスク固有のアプローチとタスクに依存しないアプローチを統合することで、蒸留におけるモデル圧縮と汎化性能のトレードオフを解消する。
• 多様な下流タスクおよび言語にわたる転送性を最大化する最適なソースタスクとデータ拡張戦略を同定する。
• 大規模な教師モデルからコンパクトで汎用的な学生モデルへの段階的知識転送を可能にする蒸留フレームワークを開発する。
• タスク固有の蒸留と同等の高い圧縮率を達成しつつ、タスクおよび言語にわたる広範な適用性を維持する。
• 一般公開用にタスクに依存しない蒸留済みモデルのチェックポイントをリリースし、リソースが限られた環境やエッジデバイスへのデプロイを可能にする。

提案手法

• NLIが下流タスクへの一般化性能において最も強く、他のソースタスクを上回ることを確認したため、MNLI、QNLI、SST-2などの高性能なソースタスクを選定する。
• タスク固有に微調整された教師モデルを用いて、ソフトラベルおよび中間表現（注目状態および隠れ状態）を生成し、蒸留に用いる。
• 教師モデルと学生モデルの複数の層にわたり段階的な知識蒸留を実装し、表現知識および注目知識の両方を転送する。
• バックトランスレーションおよび自己学習を用いた多言語データ拡張を適用し、41言語にわたる一般化性能とロバストネスを向上させる。
• 教師モデルから学生モデルへの多言語語彙埋め込みおよびエンコーダーのパラメータを固定・転送することで、学習の安定性と性能を向上させる。
• ソフトラベルおよび中間層特徴からの知識蒸留を含む目的関数を用いて、学生モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 多様なNLPタスクにわたる汎用的かつタスクに依存しない学生モデルを蒸留するにあたり、どのソースタスクが最も優れた転送性を示すか？
• RQ2 タスク固有のデータ拡張を組み込むことで、多言語環境下での蒸留モデルの性能および一般化性能はどのように向上するか？
• RQ3 教師モデルの複数層からの蒸留は、単一層または表現のみの蒸留と比較して、学生モデルの性能にどの程度の向上効果をもたらすか？
• RQ4 モデルアーキテクチャの選択（例：層数、アテンションヘッド数、隠れ次元数）は、圧縮率と精度のトレードオフにどのように影響するか？
• RQ5 タスク固有の微調整なしに、1つの蒸留済みモデルが多様なタスクおよび言語で高い性能を達成しつつ、高い圧縮率を維持できるか？

主な発見

• NLIタスク（特にMNLI）が最も優れた転送性を示し、下流タスクでの平均微調整性能が87.8に達し、他のソースタスクを上回った。
• XtremeDistilTransformersは、エンコーダーの87倍（87Mから1Mパラメータに）の圧縮を達成しつつ、41言語のNERベンチマークでmBERTと比較してF1スコアの差が5.07%にとどまった。
• 最小のモデルバリアント（6層、12アテンションヘッド、384隠れ次元）は、8倍の圧縮率と5.07%の性能差でNERタスクで88.00のF1スコアを達成した。
• 多層注目蒸留を削除した（アブレーションa）場合、F1スコアが1.52ポイント低下し、深層知識転送の重要性が示された。
• 単一言語語彙埋め込みを用いた（アブレーションc）場合、F1スコアが10.48ポイント低下し、多言語語彙埋め込み転送の重要性が明確になった。
• パラメータ転送なしでランダム初期化から学習を開始した（アブレーションe）場合、F1スコアが9.3ポイント低下し、蒸留における知識転送の利点が裏付けられた。