[論文レビュー] Students are the Best Teacher: Exit-Ensemble Distillation with Multi-Exits

Hojung Lee, Jong‐Seok Lee|arXiv (Cornell University)|Apr 1, 2021

Advanced Neural Network Applications参考文献 28被引用数 5

ひとこと要約

本論文は、事前学習済み教師モデルを必要とせず、畳み込みニューラルネットワーク（CNN）に複数の補助分類器（エグジット）を設けることで、動的で自己教師型の教師アンサンブルを形成する知識蒸留手法、Exit-Ensemble Distillation（EED）を提案する。エグジットが主ネットワークを学習させると同時に、主ネットワークもエグジットを指導する双方向の知識移転を可能にすることで、VGG、ResNetなど複数のアーキテクチャで最先端の精度向上を達成し、収束が速く、特徴量の学習が向上する。

ABSTRACT

This paper proposes a novel knowledge distillation-based learning method to improve the classification performance of convolutional neural networks (CNNs) without a pre-trained teacher network, called exit-ensemble distillation. Our method exploits the multi-exit architecture that adds auxiliary classifiers (called exits) in the middle of a conventional CNN, through which early inference results can be obtained. The idea of our method is to train the network using the ensemble of the exits as the distillation target, which greatly improves the classification performance of the overall network. Our method suggests a new paradigm of knowledge distillation; unlike the conventional notion of distillation where teachers only teach students, we show that students can also help other students and even the teacher to learn better. Experimental results demonstrate that our method achieves significant improvement of classification performance on various popular CNN architectures (VGG, ResNet, ResNeXt, WideResNet, etc.). Furthermore, the proposed method can expedite the convergence of learning with improved stability. Our code will be available on Github.

研究の動機と目的

• 知識蒸留における事前学習済み教師モデルへの依存を排除すること。
• VGG、ResNetなどの標準的なCNNの分類精度を、新たな蒸留パラダイムによって向上させること。
• マルチエグジットアーキテクチャにおける補助エグジットが、自己蒸留フレームワークにおいて学生と教師の両方の役割を果たせるかどうかを検証すること。
• アンサンブルの多様性と信号の品質が蒸留性能に与える影響を分析すること。
• 標準的なクロスエントロピー学習と比較して、提案手法の訓練プロセスの安定性と収束速度を評価すること。

提案手法

• 中間層に補助分類器（エグジット）を挿入したマルチエグジットCNNアーキテクチャを導入する。
• すべてのエグジットと最終出力のアンサンブルを、動的で自己生成された教師信号として蒸留に用いる。
• 各エグジットとアンサンブルターゲットの間、および主ネットワークとアンサンブルの間で知識蒸留損失を適用する。
• 標準的なクロスエントロピー損失に加え、アンサンブルからのソフトラベルを用いた蒸留損失を組み合わせた損失関数を採用する。
• 各エグジットと主ネットワークを、双方向蒸留ループ内で学生と教師の両方として扱う。
• 知識移転の改善のため、蒸留損失において温度スケーリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 マルチエグジットCNNにおけるエグジットの自己教師型アンサンブルは、事前学習済みモデルを必要とせずに効果的な教師として機能できるか？
• RQ2 エグジットが主ネットワークを学習させると同時に、主ネットワークがエグジットを指導する双方向の知識蒸留は、単方向蒸留と比較して分類精度を向上させるか？
• RQ3 アンサンブル教師信号の多様性と品質は、性能向上にどのように影響するか？
• RQ4 EEDは、特にクラス固有の表現に関して、特徴量の学習をどの程度向上させるか？
• RQ5 標準的なクロスエントロピー学習と比較して、提案手法は訓練を安定化させ、収束を加速させるか？

主な発見

• EEDは、VGG、ResNet、ResNeXt、WideResNetなど複数のアーキテクチャにおいて、CIFAR-100およびImageNetで最先端の精度を達成し、以前の蒸留手法を上回る。
• 訓練中において、エグジットのアンサンブルは主ネットワーク単体よりも一貫して高い精度を示しており、教師信号の有効性が裏付けられる。
• EEDで訓練された主ネットワークは、表現相違行列にブロック対角パターンが現れることで、明確で識別性の高いクラス固有の表現を学習していることが示された。
• EEDは訓練を著しく安定化させ、標準的なクロスエントロピー学習で見られる性能の揺らぎを低減し、収束を加速する。
• クラス内では特徴表現の相関を高め、クラス間では相関を低くするよう促進することで、一般化性能が向上する。
• 主ネットワークをアンサンブル教師に含めることは不可欠である。これを除外すると、性能向上はほとんど得られず、信号の品質が多様性と同等に重要であることが示された。