[論文レビュー] HomoDistil: Homotopic Task-Agnostic Distillation of Pre-trained Transformers

Liang Chen, Haoming Jiang+4 more|arXiv (Cornell University)|Feb 19, 2023

Topic Modeling被引用数 9

ひとこと要約

HomoDistil は、教師から学生を初期化し、蒸留を行いながら逐次的にニューロンを剪定する、イテレーティブな剪定ベースのタスク非依存蒸留法を導入します。これにより、下流タスクでの性能が高いコンパクトなBERTベースのモデルを生み出します。

ABSTRACT

Knowledge distillation has been shown to be a powerful model compression approach to facilitate the deployment of pre-trained language models in practice. This paper focuses on task-agnostic distillation. It produces a compact pre-trained model that can be easily fine-tuned on various tasks with small computational costs and memory footprints. Despite the practical benefits, task-agnostic distillation is challenging. Since the teacher model has a significantly larger capacity and stronger representation power than the student model, it is very difficult for the student to produce predictions that match the teacher's over a massive amount of open-domain training data. Such a large prediction discrepancy often diminishes the benefits of knowledge distillation. To address this challenge, we propose Homotopic Distillation (HomoDistil), a novel task-agnostic distillation approach equipped with iterative pruning. Specifically, we initialize the student model from the teacher model, and iteratively prune the student's neurons until the target width is reached. Such an approach maintains a small discrepancy between the teacher's and student's predictions throughout the distillation process, which ensures the effectiveness of knowledge transfer. Extensive experiments demonstrate that HomoDistil achieves significant improvements on existing baselines.

研究の動機と目的

• レイテンシとメモリ制約の下で、事前学習済みトランスフォーマーを効率的にデプロイする動機付け。
• トレーニング中の予測ずれを低く保つ、タスク非依存の蒸留フレームワークを開発。
• 逐次的なニューロン剪定と蒸留を組み合わせ、コンパクトでありながら良く一般化する学生モデルを作成。
• GLUE および SQuAD ベンチマークを通じて、HomoBERT 系列を用いて BERT-base での有効性をデモンストレーション。

提案手法

• 初期段階での予測ずれを小さくするため、教師から学生を初期化。
• 総損失から算出される感度ベースのスコアを用いて、逐次的に最も重要でないニューロンを剪定。
• 教師と学生の表現（隠れ層、埋め込み、アテンション）を一致させ、出力に対してKullback–Leibler損失を課す蒸留レジームを適用。
• 構造化剪定を用いてニューロン（列/ニューロン）を剪定し、剪定を後続の層へ伝播。
• MLM、KL蒸留、そしてトランスフォーマー蒸留項を固定重みで組み合わせた総損失を最適化。
• パラメータ r(t) の剪定のスパース性を、性能を維持しつつ徐々に高めるよう、3乗で減少する関数でスケジュール設定。

実験結果

リサーチクエスチョン

• RQ1 教師から学生が逐次剪定される場合、タスク非依存の蒸留は低い予測ずれを維持できるか？
• RQ2 GLUEとSQuADにおいて、蒸留と組み合わせた逐次的ニューロン剪定は、単発剪定や蒸留のみのベースラインを上回るか？
• RQ3 複数のパラメータスケールにわたって、HomoDistil は既存のタスク非依存蒸留ベースラインとどう比較されるか？
• RQ4 蒸留で中間表現とアテンションを保持することは、下流のファインチューニング性能を向上させるか？

主な発見

• HomoDistil はいくつかの HomoBERT サイズで GLUE および SQuAD v1.1/2.0 のファインチューニング性能の最先端を達成。
• 蒸留された HomoBERT バリアントは、同等のパラメータ数で SQuAD v2.0 に対して最良のベースライン MiniLM を 3 点以上上回る（SQuAD v1.1/2.0 の平均）。
• 訓練全体で小さな予測ずれを維持することが、タスクを跨いだ一般化を向上させる。
• 蒸留損失（L_total）は、 MLM のみの訓練よりタスク特化のファインチューニング性能を一貫して向上させる。
• 感度ベースおよび PLATON ベースの重要度指標が、振幅剪定や移動剪定を上回る。
• 教師からの初期化による反復剪定は、知識移転を効果的に行いつつコンパクトなモデルを実現する（例: HomoBERT-tiny 約14-15M パラメータ）。