[論文レビュー] FEED: Feature-level Ensemble for Knowledge Distillation

Seonguk Park, Nojun Kwak|arXiv (Cornell University)|Sep 24, 2019

Advanced Neural Network Applications参考文献 31被引用数 23

ひとこと要約

本稿では、複数の教師ネットワークから1つの学生ネットワークへの特徴マップレベルでの知識蒸留を可能にする特徴レベルの知識蒸留フレームワーク、FEEDを提案する。各教師の特徴マップに並列な非線形変換を適用することで、推論時のパラメータや計算を追加せずに学生の汎化性能を向上させ、CIFAR-100およびImageNetで最先端の性能を達成する。

ABSTRACT

Knowledge Distillation (KD) aims to transfer knowledge in a teacher-student framework, by providing the predictions of the teacher network to the student network in the training stage to help the student network generalize better. It can use either a teacher with high capacity or {an} ensemble of multiple teachers. However, the latter is not convenient when one wants to use feature-map-based distillation methods. For a solution, this paper proposes a versatile and powerful training algorithm named FEature-level Ensemble for knowledge Distillation (FEED), which aims to transfer the ensemble knowledge using multiple teacher networks. We introduce a couple of training algorithms that transfer ensemble knowledge to the student at the feature map level. Among the feature-map-based distillation methods, using several non-linear transformations in parallel for transferring the knowledge of the multiple teacher{s} helps the student find more generalized solutions. We name this method as parallel FEED, andexperimental results on CIFAR-100 and ImageNet show that our method has clear performance enhancements, without introducing any additional parameters or computations at test time. We also show the experimental results of sequentially feeding teacher's information to the student, hence the name sequential FEED, and discuss the lessons obtained. Additionally, the empirical results on measuring the reconstruction errors at the feature map give hints for the enhancements.

研究の動機と目的

• 既存の特徴マップベースの蒸留手法がアンサンブル教師を効果的に活用できないという制限を解決すること。
• アンサンブル知識を特徴マップレベルで転送する訓練フレームワークを開発することにより、アンサンブル正則化と詳細な特徴レベル知識の両方の利点を活用すること。
• 非線形変換を用いて複数教師の特徴マップレベルの知識を学生ネットワークに注入することで、学生ネットワークの汎化性能を向上させること。
• 再構成損失を診断ツールとして用いることで、特徴レベルアンサンブル蒸留の有効性についての実証的および定性的な分析を提供すること。

提案手法

• 複数の教師ネットワークの特徴マップに個別に非線形変換を適用し、それらを統合して学生の訓練に用いる並列なFEEDを提案する。
• 一貫した特徴レベルの知識転送を可能にするために、同じアーキテクチャの共有学生ネットワークと複数の教師ネットワークを用いる。
• 学生を次の訓練段階での教師として用いることで、知識を再帰的に転送する順次FEEDを導入する。
• 特徴マップの再構成損失を測定するためのパラフレーザーネットワークを採用し、知識転送の有効性についての定性的な洞察を提供する。
• オートエノードベースの再構成損失を活用して、学生が教師のアンサンブルから複雑な特徴をどれだけうまく学習しているかを分析する。
• 複数の教師の特徴マップから多様で一般化された表現を抽出するために、並列に非線形変換を適用する。

実験結果

リサーチクエスチョン

• RQ1 特徴レベルの知識蒸留は、複数の教師ネットワークからのアンサンブル知識を効果的に活用できるか？
• RQ2 特徴レベルの蒸留とラベルベースの蒸留を比較した場合、汎化性能においてどのような差異があるか？
• RQ3 複数教師設定における非線形変換が特徴マップの知識転送に与える影響は何か？
• RQ4 パラフレーザーネットワークの再構成誤差と学生モデルの精度向上の間にはどのような相関関係があるか？
• RQ5 どのような条件下で特徴レベルアンサンブル蒸留がラベルベース蒸留を上回るか？

主な発見

• 並列FEEDは、テスト時の追加パラメータや計算を追加せずに、CIFAR-100およびImageNetで最先端の性能を達成する。
• パラフレーザーネットワークの再構成損失は、知識転送が進むにつれて減少し、学生がアンサンブルからより複雑で詳細な特徴を学習していることを示している。
• 順次FEEDは、KD や BAN といったベースライン手法よりも、大規模で高容量のネットワークにおいて優れた性能を示しており、詳細な特徴レベル知識が複雑なモデルに特に有益であることが示唆される。
• KDとpFEEDの再構成損失曲線のトレンドは逆転しており、ラベルベース蒸留は抽象的な知識を転送するのに対し、pFEEDはより具体的で詳細な特徴知識を転送していることが示唆される。
• 高容量のネットワークでは、複数教師を用いた特徴マップベースの蒸留（pFEED）がラベルベース手法を上回り、詳細な特徴知識が汎化性能を向上させることを確認した。
• 結果から、特徴レベルアンサンブル蒸留は特に大規模なモデルにおいて顕著に有効であることが示された。ここで抽象的なラベルベース知識だけでは最適な性能を達成できないことが明らかになった。