[論文レビュー] Meta-KD: A Meta Knowledge Distillation Framework for Language Model Compression across Domains

Haojie Pan, Chengyu Wang+4 more|arXiv (Cornell University)|Dec 2, 2020

Topic Modeling参考文献 44被引用数 4

ひとこと要約

Meta-KDは、複数のNLPドメインにまたがる転送可能な知識を蒸留することで、言語モデル圧縮のためのクロスドメイン知識蒸留を改善するメタティーチャー学習フレームワークを提案する。多様なドメインからインスタンスレベルおよび特徴量レベルのメタ知識を同時に学習することで、特に低データ環境下でも、単一ドメインの蒸留よりも最大10%の精度向上を達成する。

ABSTRACT

Pre-trained language models have been applied to various NLP tasks with considerable performance gains. However, the large model sizes, together with the long inference time, limit the deployment of such models in real-time applications. One line of model compression approaches considers knowledge distillation to distill large teacher models into small student models. Most of these studies focus on single-domain only, which ignores the transferable knowledge from other domains. We notice that training a teacher with transferable knowledge digested across domains can achieve better generalization capability to help knowledge distillation. Hence we propose a Meta-Knowledge Distillation (Meta-KD) framework to build a meta-teacher model that captures transferable knowledge across domains and passes such knowledge to students. Specifically, we explicitly force the meta-teacher to capture transferable knowledge at both instance-level and feature-level from multiple domains, and then propose a meta-distillation algorithm to learn single-domain student models with guidance from the meta-teacher. Experiments on public multi-domain NLP tasks show the effectiveness and superiority of the proposed Meta-KD framework. Further, we also demonstrate the capability of Meta-KD in the settings where the training data is scarce.

研究の動機と目的

• 事前学習された言語モデルにおける単一ドメイン知識蒸留の限界を解消し、他のドメインからの転送可能な知識を活用できるようにすること。
• ドメイン内データが乏しくないもしくは利用できない低データまたは新規ドメインの状況において、モデルの一般化性能と蒸留性能を向上させること。
• 複数のドメインにまたがるドメインに依存しない転送可能な知識を捉え、選択的に転送するメタティーチャーを構築し、学生モデルの学習を支援すること。

提案手法

• メタティーチャーは、複数ドメインのデータセットを統合して学習させ、ドメイン間でインスタンスレベルおよび特徴量レベルの転送可能な知識を学習する。
• メタ蒸留モジュールは、中間層および出力層からの蒸留損失を最小化し、ドメイン専門知識の重み付けを組み込むことで、転送可能な知識を統合する。
• メタラーニングの枠組みを用いて、メタティーチャーをドメイン間で一般化できるように訓練し、新しいドメインにおける学生モデルの訓練を支援する。
• 転送可能な知識は明示的に損失係数γ₂を用いて蒸留され、ドメイン固有の知識とクロスドメイン知識の転送のバランスを調整する。
• メタティーチャーの訓練時にドメイン内データが利用可能でない場合でも、学生モデルはメタティーチャーからの知識を用いて訓練される。
• 本手法は、ログイット、隠れ状態、および転送可能な知識コンponentsからの損失の組み合わせを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 複数ドメインにまたがるメタティーチャーが、低データ環境下での下流の学生モデルにおける知識蒸留性能を向上させることができるか？
• RQ2 複数ドメインからの転送可能な知識を含めることで、単一ドメインKDと比較して蒸留性能にどのような影響を与えるか？
• RQ3 ドメイン内データが乏しくないもしくは利用できない状況において、Meta-KDは標準的なKDをどの程度上回るか？
• RQ4 γ₂による転送可能な知識の重み付けが、異なるドメインにおけるモデル性能にどのように影響するか？
• RQ5 メタティーチャーの訓練時にドメイン内データが一切使用されない状況でも、メタティーチャーは新しいドメインに一般化可能か？

主な発見

• MNLIデータセットにおいて、訓練データの1%しか利用しない状況でも、Meta-KDは10%の精度向上を達成し、低データ環境下での優れた性能を示している。
• メタティーチャーの訓練時にドメイン内データが使用されない場合でも、Meta-KDはAmazon Reviewsで89.4%の精度を達成し、標準的なKDを上回り、ドメイン内教師モデルの性能に近づいている。
• 最適な転送可能な知識損失係数γ₂は0.2～0.5の範囲にあり、性能はドメインによって異なるため、メタ知識の恩恵はドメイン依存的であることが示唆された。
• MNLIデータセットにおいて、訓練データの1%を使用した場合、Meta-KDは標準的なKDよりも3.1%の精度向上を達成しており、データが乏しい状況での有効性が顕著に示された。
• フィクションドメインのドメイン内データを一切使用せずに訓練されたメタティーチャーでさえ、学生モデルが88.2%の精度を達成できており、ドメイン内教師を使用した場合と同等の性能を示している。
• アブレーションスタディの結果、転送可能な知識の蒸留損失を組み込むことで性能が著しく向上し、特に低データ環境下で顕著な改善が見られた。