[論文レビュー] Cross-Layer Distillation with Semantic Calibration

Defang Chen, Jian-Ping Mei+4 more|arXiv (Cornell University)|Dec 6, 2020

Advanced Neural Network Applications参考文献 64被引用数 4

ひとこと要約

本稿では、クロスレイヤー知識蒸留のための意味的キャリブレーション（SemCKD）を提案する。この手法は、アテンション機構を用いて、教師・生徒ネットワークの特徴量の間で自動的にソフトな多層連関を学習し、手動によるレイヤー対応による意味的不一致を回避する。本手法は、多様なアーキテクチャにおいて顕著な性能向上を達成し、CIFAR-100およびImageNetベンチマークで最先端手法を上回る一貫した向上を示す。

ABSTRACT

Knowledge distillation is a technique to enhance the generalization ability of a student model by exploiting outputs from a teacher model. Recently, feature-map based variants explore knowledge transfer between manually assigned teacher-student pairs in intermediate layers for further improvement. However, layer semantics may vary in different neural networks and semantic mismatch in manual layer associations will lead to performance degeneration due to negative regularization. To address this issue, we propose Semantic Calibration for cross-layer Knowledge Distillation (SemCKD), which automatically assigns proper target layers of the teacher model for each student layer with an attention mechanism. With a learned attention distribution, each student layer distills knowledge contained in multiple teacher layers rather than a specific intermediate layer for appropriate cross-layer supervision. We further provide theoretical analysis of the association weights and conduct extensive experiments to demonstrate the effectiveness of our approach. Code is avaliable at \url{https://github.com/DefangChen/SemCKD}.

研究の動機と目的

• 手動で割り当てた教師-生徒レイヤー対による意味的不一致が特徴マップベースの知識蒸留の性能低下を引き起こす問題に対処すること。
• 固定された手作業によるレイヤー対応の限界を克服し、生徒モデル学習中に負の正則化を引き起こす可能性を低減すること。
• 異種の教師・生徒ネットワーク間で意味的レベルを整合させる、学習可能で柔軟なクロスレイヤー知識伝達メカニズムを開発すること。
• 自動的なレイヤー対応と特徴マップの整合を用いて、多様なネットワークアーキテクチャおよびデータセットにおいて、堅牢で安定した性能を確保すること。
• 特徴埋め込み蒸留（例：CRD）を含む既存の最先端蒸留技術と互換性を持ち、さらなる性能向上を実現することを示すこと。

提案手法

• 各生徒レイヤーと教師ネットワークの複数のターゲットレイヤー間のソフトな関連重みを学習するためのアテンション機構を導入し、多層知識伝達を可能にする。
• 損失計算の一貫性を確保するため、生徒の特徴マップを選択された教師の特徴マップの空間的次元に変換する。
• レイヤー対応の学習を微分可能な最適化問題として定式化し、解釈性を持つために直交プロクラステス問題と理論的関連を付ける。
• 学習されたアテンション重みを蒸留損失に統合し、意味的に整合した教師レイヤーからの知識で生徒モデルをガイドする。
• 生徒学習中にエンドツーエンドで本手法を適用し、モデルパラメータとアテンション重みの共同最適化を可能にする。
• 特徴埋め込み蒸留（例：CRD）と組み合わせることでハイブリッド蒸留をサポートするフレームワークを拡張し、高い互換性と性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで学習可能なアテンション機構は、クロスレイヤー知識蒸留における手動レイヤー対応を効果的に置き換えられ、意味的不一致を低減できるか？
• RQ2 提案された意味的キャリブレーション機構は、特徴マップ蒸留における固定レイヤー対応と比較して、一般化性能をどのように向上させるか？
• RQ3 学習されたアテンション重みの背後にある理論的根拠は何か？また、古典的最適化問題とどのように関連するか？
• RQ4 SemCKDは、多様なネットワークアーキテクチャおよびデータセットに対してどれほど堅牢で汎用性があるか？
• RQ5 SemCKDは、特徴埋め込み蒸留（例：CRD）などの他の最先端蒸留技術と効果的に組み合わせられ、さらなる性能向上をもたらすか？

主な発見

• SemCKDはCIFAR-100でテストされた12のネットワーク組み合わせすべてで一貫した性能向上を達成し、CRD や KD を含む最先端手法を上回った。
• VGG-8 と ResNet-32x4 の組み合わせでは、SemCKDがトップ-1正答率76.68％を達成し、次に良い手法を1.5ポイント以上上回った。
• ハイパーパramータ β に対して強いロバストネスを示し、広い範囲（β > 400）で高い性能を維持しており、安定性と使いやすさを示している。
• 温度ソフト化を用いた変種 SemCKD τ は、さらに性能向上を達成し、既存手法との差を広げた。
• SemCKD を CRD と組み合わせることで、すべての設定で追加の正答率向上が得られ、他の蒸留技術との高い互換性を確認した。
• 実験的結果から、意味的キャリブレーションが、特に異種モデル環境下で不適切なレイヤー対応による負の正則化を効果的に緩和していることが示された。