[論文レビュー] Understanding the Role of the Projector in Knowledge Distillation

Roy Miles, Krystian Mikolajczyk|arXiv (Cornell University)|Mar 20, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿は、知識蒸留におけるプロジェクタの重要性を再考し、例間の関係的情報を暗黙的に符号化する重要な要素として特定する。線形プロジェクタ、バッチ正規化、LogSum距離を組み合わせることで、画像分類、物体検出、データ効率の良いトランスフォーマー訓練において、最先端または優れた性能を達成。特にDeiT-Tiを用いてImageNetで77.2%のトップ1精度を達成するとともに、計算コストとメモリ使用量を顕著に削減する。

ABSTRACT

In this paper we revisit the efficacy of knowledge distillation as a function matching and metric learning problem. In doing so we verify three important design decisions, namely the normalisation, soft maximum function, and projection layers as key ingredients. We theoretically show that the projector implicitly encodes information on past examples, enabling relational gradients for the student. We then show that the normalisation of representations is tightly coupled with the training dynamics of this projector, which can have a large impact on the students performance. Finally, we show that a simple soft maximum function can be used to address any significant capacity gap problems. Experimental results on various benchmark datasets demonstrate that using these insights can lead to superior or comparable performance to state-of-the-art knowledge distillation techniques, despite being much more computationally efficient. In particular, we obtain these results across image classification (CIFAR100 and ImageNet), object detection (COCO2017), and on more difficult distillation objectives, such as training data efficient transformers, whereby we attain a 77.2% top-1 accuracy with DeiT-Ti on ImageNet. Code and models are publicly available.

研究の動機と目的

• 知識蒸留におけるプロジェクタの理論的・実用的役割を、単なる特徴変換を越えて理解すること。
• 正規化と距離関数がプロジェクタとどのように作用し、学習ダイナミクスとモデル性能に影響を与えるかを調査すること。
• 相関行列やメモリバンクといった高コストな関係構造を避ける、計算効率の良い蒸留手法の開発。
• 画像分類、物体検出、ビジョントランスフォーマーのデータ効率の良い学習という多様なタスクに本手法を評価すること。
• 特に高容量ギャップ状況において、複雑で特化した蒸留手法を上回る、シンプルなアーキテクチャ的選択の有効性を示すこと。

提案手法

• 本手法は、教師特徴を変換するための線形プロジェクション層を用い、その後に学生特徴に対してLogSum距離を適用する。
• 学習ダイナミクスの安定化と一般化性能の向上を図るため、投影された特徴にバッチ正規化を適用する。
• 損失関数としてLogSum距離関数を用い、ソフトマックスの微分可能な近似として機能し、大容量ギャップタスクでの性能向上に寄与する。
• プロジェクタは、過去の例からの情報を符号化することで、関係的勾配を暗黙的に捉え、明示的なメモリバンクや相関行列の必要性を排除する。
• 本フレームワークは、画像分類（CIFAR100、ImageNet）、物体検出（COCO2017）、ビジョントランスフォーマーのデータ効率の良い学習にまでエンドツーエンドで適用可能。
• 追加のトレーニング可能な層や複雑なスケジューリングが不要であり、既存の学習パイプラインと互換性がある、プラグアンドプレイ型の設計である。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留におけるプロジェクタは、学習中に例間の関係的情報をどのように暗黙的に符号化しているか？
• RQ2 正規化はプロジェクタとどのように連携し、学習ダイナミクスと最終的な性能に影響を与えるか？
• RQ3 シンプルなLogSum距離関数は、教師と学生モデル間の大きな容量ギャップを効果的に埋めることができるか？
• RQ4 線形プロジェクタ、バッチ正規化、LogSum損失という最小限のコンポーネントセットが、最先端の蒸留手法と同等または優れた性能を達成できるか？
• RQ5 この蒸留知識は、教師から学生へと明示的な誘導的バイアス（例：平行移動不変性）を保持しているか？

主な発見

• プロジェクタは、過去の例からの関係的勾配を暗黙的に符号化し、明示的なメモリや相関行列が不要な有効な知識伝達を可能にする。
• 表現の正規化はプロジェクタの学習ダイナミクスと密接に連携しており、学生モデルの性能に顕著な影響を与える。
• LogSum距離関数は、大容量ギャップ問題に対して効果的に対処し、挑戦的な蒸留タスクでの性能向上に寄与する。
• 本手法は、DeiT-Tiを用いてImageNetで77.2%のトップ1精度を達成し、データ効率の良い学習のための特化型蒸留手法を上回る。
• ビジョントランスフォーマーにおける平行移動不変性の転送が向上し、教師の1.52±0.15から学生の0.04±0.02にまで低下するが、空間的誘導的バイアスの強力な保持を示す。
• COCO2017物体検出タスクでは、32.92 mAP（50-95）と52.96 AP50を達成し、FPGIを上回り、ReviewKDでさえも同等または上回る性能を発揮。実装ははるかにシンプルかつ低コストである。