[論文レビュー] Learning Student Networks via Feature Embedding

Hanting Chen, Yunhe Wang+3 more|arXiv (Cornell University)|Dec 17, 2018

Advanced Neural Network Applications参考文献 31被引用数 6

ひとこと要約

本稿では、局所性を保つ損失を用いた特徴埋め込みを通じて、教師ネットワークから学生ネットワークへ知識を転移する知識蒸留手法を提案する。追加パラメータを必要とせず、低次元特徴空間におけるサンプル間の関係を保つことで、計算量およびストレージの複雑さを著しく低減し、最先端の性能を達成する。

ABSTRACT

Deep convolutional neural networks have been widely used in numerous applications, but their demanding storage and computational resource requirements prevent their applications on mobile devices. Knowledge distillation aims to optimize a portable student network by taking the knowledge from a well-trained heavy teacher network. Traditional teacher-student based methods used to rely on additional fully-connected layers to bridge intermediate layers of teacher and student networks, which brings in a large number of auxiliary parameters. In contrast, this paper aims to propagate information from teacher to student without introducing new variables which need to be optimized. We regard the teacher-student paradigm from a new perspective of feature embedding. By introducing the locality preserving loss, the student network is encouraged to generate the low-dimensional features which could inherit intrinsic properties of their corresponding high-dimensional features from teacher network. The resulting portable network thus can naturally maintain the performance as that of the teacher network. Theoretical analysis is provided to justify the lower computation complexity of the proposed method. Experiments on benchmark datasets and well-trained networks suggest that the proposed algorithm is superior to state-of-the-art teacher-student learning methods in terms of computational and storage complexity.

研究の動機と目的

• 特徴一致のための追加の全結合層に依存する知識蒸留手法の高い計算コストおよびストレージコストを解消すること。
• 教師ネットワークの高次元特徴空間におけるサンプル間の固有的関係を、低次元の学生ネットワークに転送する際も保持すること。
• パラメータを一切導入しない知識蒸留フレームワークを構築し、複雑さを低減しながらも性能を維持すること。
• 局所性を保つ損失による特徴埋め込みが、効率的で高性能な学生ネットワークの圧縮を可能にすることを示すこと。

提案手法

• 本手法は、知識蒸留を高次元教師特徴から低次元学生特徴への特徴埋め込みタスクとして定式化する。
• サンプル間の相対的関係を埋め込み空間で保持するために、局所性を保つ損失を導入する。
• 損失関数は、学生ネットワークが教師の特徴表現からの局所的近傍構造を維持するよう促す。
• 埋め込みを通じて中間特徴を直接一致させることで、補助パラメータを導入せず、計算およびメモリのオーバーヘッドを低減する。
• 追加の全結合層を用いる既存手法と比較して、理論的に計算複雑度が低いことを裏付ける。
• 学生ネットワークは、局所性を保つ損失を正則化子として用いた標準的な誤差逆伝搬法により、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 全結合層などの追加パラメータを導入せずに知識蒸留を達成できるか？
• RQ2 教師ネットワークの特徴表現における固有の幾何的構造を、圧縮された学生ネットワークにどのように保持できるか？
• RQ3 特徴空間における局所的近傍関係を保持することで、学生ネットワークの一般化性能および性能が向上するか？
• RQ4 精度、計算、メモリ効率の観点から、本手法は最先端の知識蒸留技術と比較してどのように差をつけるか？
• RQ5 中間層の選択が、本手法の性能に与える影響は何か？

主な発見

• 本手法はImageNetにおいてトップ5正解率93.13%を達成し、標準的な誤差逆伝搬ベースライン（92.18%）および他の最先端手法を上回った。
• CIFAR-10ではトップ1正解率92.89%を達成し、既存の知識蒸留技術を上回った。
• 知識転送に追加パラメータを一切必要とせず、FitNetと比較して約5,035Mの追加パラメータを必要としていなかった。
• 理論的分析により、本手法は補助的全結合層を用いる手法よりも計算複雑度が低いことが確認された。
• 実験では、中間層の選択に対して性能が頑健であり、異なる層の組み合わせ間で正解率の変動が0.2%未満にとどまった。
• 局所性を保つ損失を用いて訓練された学生ネットワークは、モデルサイズと推論コストを顕著に低減しながらも、高い性能を維持した。