[論文レビュー] Knowledge Distillation with Feature Maps for Image Classification

Wei‐Chun Chen, Chia-Che Chang+2 more|arXiv (Cornell University)|Dec 3, 2018

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、共有分類器と生成対抗ネットワーク（GAN）を用いて教師ネットワークの特徴マップを学生モデルに転送することで、学生モデルの性能を向上させる知識蒸留手法KDFMを提案する。実験の結果、4層のCNNがDenseNet-40と同等の精度を達成し、推論速度が2倍速くなったほか、MobileNetはCIFAR-100で77.20%の精度を達成したが、DenseNet-100と比較して6倍速く、モデルサイズは半分以下であった。

ABSTRACT

The model reduction problem that eases the computation costs and latency of complex deep learning architectures has received an increasing number of investigations owing to its importance in model deployment. One promising method is knowledge distillation (KD), which creates a fast-to-execute student model to mimic a large teacher network. In this paper, we propose a method, called KDFM (Knowledge Distillation with Feature Maps), which improves the effectiveness of KD by learning the feature maps from the teacher network. Two major techniques used in KDFM are shared classifier and generative adversarial network. Experimental results show that KDFM can use a four layers CNN to mimic DenseNet-40 and use MobileNet to mimic DenseNet-100. Both student networks have less than 1\% accuracy loss comparing to their teacher models for CIFAR-100 datasets. The student networks are 2-6 times faster than their teacher models for inference, and the model size of MobileNet is less than half of DenseNet-100's.

研究の動機と目的

• リソース制約のあるデバイス（モバイル機器やIoTシステムなど）に大規模で計算コストの高いディーブラーニングモデルを導入する課題に対処すること。
• 最終出力（ログチ）だけでなく中間特徴マップを活用することで、知識蒸留を改善し、より効果的な知識転送を実現すること。
• DenseNetのような複雑で深い教師ネットワークと同等の性能を達成できる、単純で浅く広い学生ネットワークの開発を目的とすること。
• 教師の特徴マップと一致するように学生の特徤マップを学習させる敵対的訓練により、蒸留の効果を高めること。
• CIFAR-100やImageNetを含む、異なるアーキテクチャとデータセットに一般化可能な手法であることを示すこと。

提案手法

• KDFMは、教師ネットワークと学生ネットワークの間で分類器を共有することで、トレーニング中に特徴表現を整合化する。
• 生成対抗ネットワーク（GAN）フレームワークを採用し、学生が生成器として機能し、教師の特徴マップを本物のデータとして扱う。
• GANの識別器は、教師の本物の特徴マップと学生が生成する特徴マップを区別するように学習され、これにより学生はより現実的な特徴マップを生成するよう強制される。
• 損失関数には、ログチにおける知識蒸留損失と、特徴マップにおける敵対的損失を組み合わせ、一般化性能の向上を図る。
• 本手法は、深く細いネットワークよりもハードウェアアクセラレーションに適した、浅く広い（例：4〜8層の畳み込み層）学生ネットワークに適用される。
• フレームワークは、複数の教師モデル（DenseNet-40、DenseNet-100、CondenseNet-86、ResNet-152）と学生アーキテクチャ（シンプルなCNN、MobileNet）に対して評価された。

実験結果

リサーチクエスチョン

• RQ1 ログチだけでなく中間特徴マップを蒸留することで、知識蒸留における学生モデルの性能が顕著に向上するか？
• RQ2 教師と学生の特徴マップを一致させるために、GANベースのフレームワークが画像分類タスクにおいてどれほど有効か？
• RQ3 単純で浅く広い学生ネットワークが、DenseNet-100のような深く複雑な教師ネットワークと同等の性能を達成できるか？
• RQ4 共有分類器と特徴マップにおける敵対的訓練の組み合わせが、標準的なKD手法よりも高い精度と高速な推論を実現できるか？
• RQ5 KDFMはCIFAR-100やImageNetといった異なるデータセットとモデルアーキテクチャに一般化可能か？

主な発見

• 4層のCNN学生モデルは、DenseNet-40を模倣することでCIFAR-100で74.23%の精度を達成し、1%未満の精度低下で推論速度が2倍速くなった。
• MobileNetはDenseNet-100を模倣する形でKDFMで訓練されたが、77.20%の精度を達成した（教師より0.74%低い）一方で、推論速度は6倍速く、モデルサイズは半分未満であった。
• ImageNetデータセットでは、KDFMで訓練されたMobileNet v2が71.82%のトップ-1精度を達成し、標準KD（70.16%）とベースライン（68.01%）を上回った。
• アブレーションスタディの結果、敵対的損失を除去すると精度が71.32%に低下し、特徴マップの整合性向上にその重要性が確認された。
• 20.2Mまたは28.1Mパラメータを持つシンプルなCNNでも、KDFMで訓練することでそれぞれ74.36%および75.25%の精度を達成し、KDなしのベースラインを上回った。
• 本手法はアーキテクチャの一般化にも成功した：KDFMで訓練されたCondenseNet-86学生モデルは、CIFAR-100で74.13%から75.01%へと精度が向上した。