[論文レビュー] VanillaKD: Revisit the Power of Vanilla Knowledge Distillation from Small Scale to Large Scale

Zhiwei Hao, Jianyuan Guo+4 more|arXiv (Cornell University)|May 25, 2023

COVID-19 diagnosis using AI被引用数 5

ひとこと要約

この論文は、vanilla knowledge distillation (KD) を再評価し、従来の仮定とは反して、アーキテクチャの変更なしに、ImageNet-1K などの大規模データセットにおいても最先端の性能を達成することを示している。強力なデータ拡張と長時間の訓練スケジュールを活用することで、vanilla KD は複雑なKDバージョンを上回り、ResNet-50では83.1%、ViT-Sでは84.3%、ConvNeXtV2-Tでは85.0%のトップ-1精度を達成した。

ABSTRACT

The tremendous success of large models trained on extensive datasets demonstrates that scale is a key ingredient in achieving superior results. Therefore, the reflection on the rationality of designing knowledge distillation (KD) approaches for limited-capacity architectures solely based on small-scale datasets is now deemed imperative. In this paper, we identify the \emph{small data pitfall} that presents in previous KD methods, which results in the underestimation of the power of vanilla KD framework on large-scale datasets such as ImageNet-1K. Specifically, we show that employing stronger data augmentation techniques and using larger datasets can directly decrease the gap between vanilla KD and other meticulously designed KD variants. This highlights the necessity of designing and evaluating KD approaches in the context of practical scenarios, casting off the limitations of small-scale datasets. Our investigation of the vanilla KD and its variants in more complex schemes, including stronger training strategies and different model capacities, demonstrates that vanilla KD is elegantly simple but astonishingly effective in large-scale scenarios. Without bells and whistles, we obtain state-of-the-art ResNet-50, ViT-S, and ConvNeXtV2-T models for ImageNet, which achieve 83.1\%, 84.3\%, and 85.0\% top-1 accuracy, respectively. PyTorch code and checkpoints can be found at https://github.com/Hao840/vanillaKD.

研究の動機と目的

• 大規模な設定において、複雑なKD手法が高性能を発揮する必要があるという一般的な仮定に挑戦し、大規模な設定でのvanilla KDの再評価を行う。
• 既存のKD文献における「小さなデータの落とし穴」を同定する。具体的には、CIFAR-100などの小規模ベンチマークでは、vanilla KDの力を過小評価している。
• 訓練戦略とモデル容量が、特にImageNet-1Kにおいてスケールに応じてKD性能に与える影響を調査する。
• 強力なデータ拡張と長時間のスケジューリングで訓練された場合、追加のコンponentsなしにvanilla KDが現代のバックボーンアーキテクチャで最先端の結果を達成できることを示す。
• 小規模ベンチマークに依存するのではなく、実用的で大規模なシナリオにおいてKD手法を評価することを提唱する。

提案手法

• 強力なデータ拡張と延長された訓練スケジュールを用いて、ImageNet-1Kにおけるvanilla KDの性能を、複雑なKDバージョンと比較して再評価する。
• ロジットベースのKD（例：HintonのオリジナルKD）とヒントベースの手法（例：FitNet、CRD）を、異なるモデル容量と訓練レシピで比較する。
• 標準的な知識蒸留損失を採用：教師のソフトラベルと学生の出力との間のクロスエントロピー損失に、温度スケーリング要因を適用する。
• すべての手法で同一の訓練レシピを用いて、学生モデル（ResNet-50、ViT-S、ConvNeXtV2-T）を訓練し、公平な比較を実現する。
• すべての実験で一貫した訓練プロトコルを採用：延長された訓練、強力な拡張（例：Mixup、CutMix）、標準的な最適化設定。
• 複数のモデルアーキテクチャと教師-学生の容量ペアを用いて、結果の一般化可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ImageNet-1K などの大規模データセットで評価した場合、vanilla KDと高度なKD手法との間の性能差は依然として存在するか？
• RQ2 強力なデータ拡張と長時間の訓練スケジュールは、複雑なKDバージョンと比較して、vanilla KDの性能をどの程度向上させるか？
• RQ3 モデル容量（例：Res34がRes50を教える vs. Res152がRes50を教える）は、vanilla KDの有効性にどのように影響するか？
• RQ4 なぜヒントベースのKD手法は、大規模な設定ではロジットベースの手法に比べて性能が劣るのか？
• RQ5 強力なデータ拡張と長時間のスケジューリングで訓練された場合、追加のコンponentsなしにvanilla KDは、現代のビジョンバックボーンで最先端の性能を達成できるか？

主な発見

• vanilla KD は、ResNet-50 で83.1% のトップ-1精度を達成し、以前の最高記録を上回った。
• ViT-S では、84.3% のトップ-1精度を達成し、追加のコンponentsなしに新記録を樹立した。
• ConvNeXtV2-T では、85.0% のトップ-1精度を達成し、以前に報告された結果を上回った。
• 強力なデータ拡張と長時間の訓練が施された場合、vanilla KD と複雑なKDバージョンとの性能差は顕著に縮まり、特に大規模データセットでは顕著である。
• 大規模ベンチマークにおいて、ロジットベースのKD手法は、一般化性能の観点でヒントベースの手法を一貫して上回った。
• 強力な訓練戦略が適用された場合、モデル容量が蒸留効果に与える影響は最小限に抑えられ、vanilla KD がアーキテクチャのスケールにかかわらず頑健であることが示唆された。