[論文レビュー] Knowledge Distillation with the Reused Teacher Classifier

Defang Chen, Jian-Ping Mei+4 more|arXiv (Cornell University)|Mar 26, 2022

Advanced Neural Network Applications被引用数 14

ひとこと要約

本論文は、教師モデルの分類器を学生モデルの推論に再利用し、学生の特徴量を1つのℓ₂損失で教師の特徴量に一致させる、シンプルな知識蒸留手法SimKDを提案する。次元の不一致を処理するための軽量プロジェクタを追加することで、最小限の圧縮コストで最先端の性能を達成し、多様なアーキテクチャや設定において先行手法を上回る性能を示した。

ABSTRACT

Knowledge distillation aims to compress a powerful yet cumbersome teacher model into a lightweight student model without much sacrifice of performance. For this purpose, various approaches have been proposed over the past few years, generally with elaborately designed knowledge representations, which in turn increase the difficulty of model development and interpretation. In contrast, we empirically show that a simple knowledge distillation technique is enough to significantly narrow down the teacher-student performance gap. We directly reuse the discriminative classifier from the pre-trained teacher model for student inference and train a student encoder through feature alignment with a single $\ell_2$ loss. In this way, the student model is able to achieve exactly the same performance as the teacher model provided that their extracted features are perfectly aligned. An additional projector is developed to help the student encoder match with the teacher classifier, which renders our technique applicable to various teacher and student architectures. Extensive experiments demonstrate that our technique achieves state-of-the-art results at the modest cost of compression ratio due to the added projector.

研究の動機と目的

• 知識蒸留において、複雑な知識表現に依存せずに教師モデルと学生モデルの性能差を埋める。
• 多損失最適化や洗練された知識転送メカニズムの必要性を排除することで、知識蒸留を単純化する。
• 軽量プロジェクタを用いることで、多様な学生-教師アーキテクチャに普遍的に適用可能にする。
• 1つのℓ₂損失による特徴量一致と分類器の再利用が、教師にほぼ等しい性能を達成できることを示す。
• マルチ教師およびデータフリー蒸留といった挑戦的な状況でも、本手法の有効性を評価する。

提案手法

• 学生の分類器を再訓練せずに、事前学習済みの教師の分類器を直接学生の推論に再利用する。
• 分類器の直前層における学生特徴量と教師特徴量を、1つのℓ₂損失で一致させる。
• 学生エンコーダの後に軽量プロジェクタを導入し、学生と教師の特徴量間の次元の不一致を解消する。
• 知識蒸留の際には、教師の分類器を固定したまま、学生エンコーダとプロジェクタのみを学習する。
• 分類の直前である最終隠れ層での特徴量一致を採用することで、性能の類似性を最大化する。
• MobileNet、ShuffleNet、ResNetの変種を含む、多様な学生-教師アーキテクチャの組み合わせに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 分類器の再利用と組み合わせた単純なℓ₂損失による特徴量一致が、教師と学生モデルの性能差を埋められるか？
• RQ2 複雑な知識表現や多損失最適化を排除することで、知識蒸留における学習の安定性と解釈可能性が向上するか？
• RQ3 軽量プロジェクタの追加が、多様なアーキテクチャにおける圧縮効率とモデル性能に与える影響はいかほどか？
• RQ4 本手法はマルチ教師およびデータフリー知識蒸留設定にも一般化可能か？
• RQ5 より深い教師層を再利用する際の、性能向上とパrameterコストのトレードオフはどのようなものか？

主な発見

• MobileNetV2x2とResNet-32x4を用いたCIFAR-100では、78.08% ± 0.15のテスト精度を達成し、比較したすべての最先端手法を上回った。
• プロジェクタによる追加パrameterコストが3%未満で、一部のケースではヴァナイルKDよりもパラメータの圧縮比が向上した。
• 次元削減係数r=8の'ShuffleNetV2 & ResNet-32x4'設定では、77.49%の精度を達成し、SemCKD（77.62%）に次ぐ第二位であった。
• t-SNEを用いた可視化により、学習後には学生と教師の特徴量がほとんど区別できなくなることが確認され、効果的な一致が実証された。
• より深い教師層を再利用するSimKD+およびSimKD++に拡張することで、さらに精度が向上したが、同時に圧縮比が著しく低下した。これは、性能と複雑さのトレードオフを示している。
• データフリーおよびマルチ教師設定においても、本手法は良好に一般化され、追加の学習データや複雑な修正を必要とせずに、強力な性能を維持した。