[論文レビュー] The State of Knowledge Distillation for Classification

Fabian Ruffy, Karanbir Chahal|arXiv (Cornell University)|Dec 20, 2019

Machine Learning and Data Classification参考文献 22被引用数 7

ひとこと要約

この論文は画像分類のための知識蒸留（KD）技術を評価し、洗練されたハイパーパramータチューニングとデータオーグメンテーションを施したバニラKDが、複雑な特徴蒸留手法を上回ることを発見した。驚くべきことに、特徴蒸留手法は一般化できず、さまざまなアーキテクチャーや学習設定においてベースラインKDを下回る性能を示した。

ABSTRACT

We survey various knowledge distillation (KD) strategies for simple classification tasks and implement a set of techniques that claim state-of-the-art accuracy. Our experiments using standardized model architectures, fixed compute budgets, and consistent training schedules indicate that many of these distillation results are hard to reproduce. This is especially apparent with methods using some form of feature distillation. Further examination reveals a lack of generalizability where these techniques may only succeed for specific architectures and training settings. We observe that appropriately tuned classical distillation in combination with a data augmentation training scheme gives an orthogonal improvement over other techniques. We validate this approach and open-source our code.

研究の動機と目的

• 一貫した学習条件の下で最先端の知識蒸留技術を評価・再現すること。
• 特徴蒸留手法の異なるモデルアーキテクチャーや学習設定における一般化可能性を評価すること。
• データオーグメンテーションとハイパーパramータチューニングが、既存の蒸留技術に対して直交的な改善をもたらすかどうかを調査すること。
• 多数の高度な蒸留手法が制御された実験において報告された性能向上を再現できない理由を特定すること。

提案手法

• すべての実験で標準化されたResNetアーキテクチャ（ResNet8, ResNet18, ResNet26）と固定された計算予算を用いた。
• すべての手法に対して一貫した学習スケジュールと最適化手法（Adam）を適用し、データオーグメンテーションとして1つのスケーム（MixUp）を採用した。
• 複数のKDバリエーションを実装した：バニラKD（Hinton）、特徴蒸留（AB-Distillation, Overhaul, TAKD, RKD）、および非教師付きKD。
• 標準的なKDでは、ソフトラベル間のKLダイバージェンスと温度スケーリングを用いて知識を転送した。
• 特徴レベルの蒸留には平均二乗誤差とKLダイバージェンスを用い、広範なハイパーパramータチューニングを実施した。
• 複数回の学習ランを実施し、異なる教師モデルアーキテクチャ間での性能を比較して結果を検証した。

実験結果

リサーチクエスチョン

• RQ1 画像分類のための最先端の知識蒸留手法は、標準化された学習条件の下で信頼性を持って再現可能か？
• RQ2 異なるモデルアーキテクチャにおいて、特徴蒸留の性能はバニラ知識蒸留と比べてどうか？
• RQ3 データオーグメンテーションとハイパーパramータチューニングは、高度な蒸留技術とは独立して、蒸留性能にどの程度向上効果をもたらすか？
• RQ4 多数の高度な特徴蒸留手法が、さまざまな学習設定やモデルアーキテクチャにおいて一般化できないのはなぜか？

主な発見

• 適切なハイパーパramータチューニングとデータオーグメンテーション（MixUp）を施したバニラ知識蒸留は、ResNet8学生モデルでCIFAR-10で90.5%の最高精度を達成した。
• AB-Distillation, Overhaul, TAKD, RKDを含む特徴蒸留手法は、常にベースラインKDを下回り、精度低下が最大2%に達した。
• 教師モデルをResNet18（95%精度）からResNet26（93%精度）に切り替えることで、学生モデルの精度は88.5%から90.5%に向上した。これは、教師の能力と整合性が、複雑な蒸留よりも重要であることを示している。
• 手法間の性能差の主な要因は、アーキテクチャの不一致と学習設定への感受性であり、特徴蒸留そのものの優位性ではなく、それらに起因していた。
• PyTorchのKLダイバージェンス実装にバグが存在し、KD性能に影響を与えていたことが判明。このバグを修正したことで、全実験でKD精度が1%向上した。
• ラベルなし学習データを用いたSTL-10における非教師付き知識蒸留は、CIFAR-10で83%の精度を達成した。これは、大規模な非教師付きデータを用いた今後の探索の可能性を示唆している。