[論文レビュー] Improved Knowledge Distillation via Teacher Assistant: Bridging the Gap Between Student and Teacher

Seyed Iman Mirzadeh, Mehrdad Farajtabar+2 more|arXiv (Cornell University)|Feb 9, 2019

Advanced Neural Network Applications参考文献 26被引用数 128

ひとこと要約

本稿では、大規模な教師ネットワークと小規模な学生ネットワークの性能差を埋めるために、教師アシスタントを用いたマルチステップ知識蒸留を提案する。中間サイズの教師アシスタントを導入することで、特に学生-教師のサイズ差が大きい場合に知識伝達を改善し、ResNetおよびプレーンCNNアーキテクチャを用いたCIFAR-10およびCIFAR-100でSOTAの精度を達成する。

ABSTRACT

Despite the fact that deep neural networks are powerful models and achieve appealing results on many tasks, they are too gigantic to be deployed on edge devices like smart-phones or embedded sensor nodes. There has been efforts to compress these networks, and a popular method is knowledge distillation, where a large (a.k.a. teacher) pre-trained network is used to train a smaller (a.k.a. student) network. However, in this paper, we show that the student network performance degrades when the gap between student and teacher is large. Given a fixed student network, one cannot employ an arbitrarily large teacher, or in other words, a teacher can effectively transfer its knowledge to students up to a certain size, not smaller. To alleviate this shortcoming, we introduce multi-step knowledge distillation which employs an intermediate-sized network (a.k.a. teacher assistant) to bridge the gap between the student and the teacher. We study the effect of teacher assistant size and extend the framework to multi-step distillation. Moreover, empirical and theoretical analysis are conducted to analyze the teacher assistant knowledge distillation framework. Extensive experiments on CIFAR-10 and CIFAR-100 datasets and plain CNN and ResNet architectures substantiate the effectiveness of our proposed approach.

研究の動機と目的

• 学生ネットワークが教師ネットワークに比べて著しく小さい場合に生じる知識蒸留における性能劣化を解消すること。
• 大規模な教師が非常に小さな学生に知識を効果的に伝達できないという制限（アーキテクチャ的ギャップが大きいことが要因）を克服すること。
• 中間サイズの教師アシスタントを用いたマルチステップ蒸留フレームワークを提案し、知識のブリッジとして機能させること。
• 教師アシスタントのサイズが与える影響を調査し、性能向上を目的としたマルチステップ蒸留への拡張を検討すること。

提案手法

• 学生と元の教師の間の蒸留パイプラインに、学生と元の教師の中間サイズの教師アシスタントを導入する。
• 教師アシスタントを介して、大規模な教師ネットワークから小規模な学生ネットワークへの2段階の知識伝達を実現する。
• 両段階で知識蒸留を適用する：まず教師から教師アシスタントへの蒸留、次に教師アシスタントから学生への蒸留。
• ソフトラベルと特徴量レベルの知識伝達を用いて蒸留プロセスを最適化し、交差エントロピーとKLダイバージェンスを損失関数の構成要素とする。
• 教師アシスタントのサイズを系統的に変化させ、そのサイズが学生の性能に与える影響を分析する。
• 複数の中間モデルを段階的に連結することで、マルチステップ蒸留フレームワークを拡張し、学生と教師のギャップを段階的に縮小する。

実験結果

リサーチクエスチョン

• RQ1 大規模な教師と小規模な学生の間の性能ギャップを、教師アシスタントが有効に埋めることができるか？
• RQ2 教師アシスタントのサイズが最終的な学生モデルの精度に与える影響は何か？
• RQ3 学生-教師のサイズギャップが大きい場合、マルチステップ蒸留は単一ステップ蒸留を上回る性能を示すか？
• RQ4 中間モデルを用いた知識伝達の向上には、理論的・実験的根拠があるか？

主な発見

• 提案された教師アシスタントフレームワークは、学生-教師のサイズギャップが大きい場合に、標準的な知識蒸留と比較して学生ネットワークの精度を顕著に向上させる。
• 教師が学生に対してあまりに大きいと性能が劣化することが確認され、有効な知識伝達の実用的上限が存在することを裏付けた。
• 最適な教師アシスタントのサイズは、学生と元の教師の間の中間サイズに位置し、性能は中間サイズでピークに達する。
• 複数の教師アシスタントを用いたマルチステップ蒸留は、CIFAR-10およびCIFAR-100でさらに精度を向上させ、特にResNetのような深層アーキテクチャで顕著な改善が得られた。
• 実験的結果から、CIFAR-10およびCIFAR-100の両データセットにおいて、プレーンCNNおよびResNetモデルで一貫した性能向上が確認された。
• 理論的および実験的分析により、教師アシスタントが分布シフトを低減し、知識伝達中の特徴量の整合性を向上させることを確認した。