[論文レビュー] Extract then Distill: Efficient and Effective Task-Agnostic BERT Distillation

Cheng Chen, Yichun Yin+5 more|arXiv (Cornell University)|Apr 24, 2021

Topic Modeling参考文献 30被引用数 4

ひとこと要約

本稿では、事前学習済みの教師モデルのパラメータを再利用してより小さな学生モデルを初期化する、柔軟で効率的なタスクに依存しない BERT distillation の手法である Extract Then Distill (ETD) を提案する。重要度スコアまたはランダム選択によって、最も重要なニューロン（FFN、アテンションヘッド、隠れ状態）を抽出・再利用することで、ETD は訓練コストを 70% 削減しつつ、ベースラインの distillation 手法を上回る性能を達成する。

ABSTRACT

Task-agnostic knowledge distillation, a teacher-student framework, has been proved effective for BERT compression. Although achieving promising results on NLP tasks, it requires enormous computational resources. In this paper, we propose Extract Then Distill (ETD), a generic and flexible strategy to reuse the teacher's parameters for efficient and effective task-agnostic distillation, which can be applied to students of any size. Specifically, we introduce two variants of ETD, ETD-Rand and ETD-Impt, which extract the teacher's parameters in a random manner and by following an importance metric respectively. In this way, the student has already acquired some knowledge at the beginning of the distillation process, which makes the distillation process converge faster. We demonstrate the effectiveness of ETD on the GLUE benchmark and SQuAD. The experimental results show that: (1) compared with the baseline without an ETD strategy, ETD can save 70\% of computation cost. Moreover, it achieves better results than the baseline when using the same computing resource. (2) ETD is generic and has been proven effective for different distillation methods (e.g., TinyBERT and MiniLM) and students of different sizes. The source code will be publicly available upon publication.

研究の動機と目的

• タスクに依存しない BERT distillation の高い計算コストを軽減すること。これは、大規模な非教師付きコーパスに対する長時間の訓練を伴う。
• 教師モデルと異なる幅や深さを持つ学生モデルに対しても、効率的かつ効果的な distillation を可能にすること。
• 教師モデルのパラメータを再利用する汎用的な初期化戦略を開発し、収束を加速させ、性能を向上させること。
• 構造的抽出によるパラメータ再利用が、ランダム初期化や単純なレイヤー複製よりも優れていることを実証すること。

提案手法

• ETD は、幅方向のパラメータ再利用を目的とした 2 種類のバリエーションを導入する：ETD-Rand（ランダムニューロン抽出）と ETD-Impt（重要度に基づくニューロン抽出）。
• 教師モデルの Transformer レイヤー全体に対して均一なレイヤー選択を実施し、広範な知識伝達を保証する。
• FFN ニューロン、アテンションヘッド、隠れ状態の重要度スコアを計算し、選択的なパラメータ抽出をガイドする。
• 抽出されたパラメータを、微調整の前に学生モデルを初期化するために使用することで、長時間の distillation 訓練の必要性を低減する。
• TinyBERT や MiniLM などの既存の distillation フレームワークと互換性がある。
• 抽出プロセスは効率的であり、計算コストの増加は無視できるほど小さい。

実験結果

リサーチクエスチョン

• RQ1 構造的抽出による事前学習済み教師モデルのパラメータ再利用が、タスクに依存しない BERT distillation の効率を向上させることができるか？
• RQ2 重要度に基づくパラメータ選択が、ランダム選択や均一選択よりも、学生モデルの初期化において優れているか？
• RQ3 ETD は、教師モデルと同一の幅・深さでない学生モデルに対しても適用可能か？
• RQ4 ETD は、計算コストをどれほど削減できるか？ また、性能を維持または向上させられるか？
• RQ5 レイヤー選択戦略（均一選択、上位選択、下位選択）の選択が、distillation の収束速度と最終性能に与える影響は？

主な発見

• ETD はベースラインと比較して、distillation の計算コストを 70% 削減したが、性能に影響を与えない。
• 同じ計算リソースを用いた場合、ETD は GLUE および SQuAD ベンチマークの両方で、ベースラインの distillation よりも優れた結果を達成した。
• 重要度スコアを用いたパラメータ選択を行う ETD-Impt は、ETD-Rand やランダム初期化を常に上回る性能を示した。
• アブレーションスタディの結果、最も重要度が低いニューロン即ち貢献度が小さいニューロンですら、正の寄与を示しており、重要度順の逆転は性能を低下させることを確認した。
• 均一なレイヤー選択が、上位層や下位層の選択よりも優れており、浅い層から深い層へのバランスの取れた知識伝達を保証している。
• 本手法は、TinyBERT や MiniLM などのさまざまな distillation フレームワークに一般化可能であり、さまざまなサイズの学生モデルに対しても有効である。