[論文レビュー] FitNets: Hints for Thin Deep Nets

Adriana Romero, Nicolas Ballas+4 more|arXiv (Cornell University)|Dec 19, 2014

Advanced Neural Network Applications参考文献 27被引用数 2,032

ひとこと要約

この論文は、教師ネットワークからの中間ヒントを用いてより深く、より細い学生ネットワーク（FitNets）を訓練することで知識蒸留を拡張し、はるか fewer パラメータで高い精度と高速推論を実現します。

ABSTRACT

While depth tends to improve network performances, it also makes gradient-based training more difficult since deeper networks tend to be more non-linear. The recently proposed knowledge distillation approach is aimed at obtaining small and fast-to-execute models, and it has shown that a student network could imitate the soft output of a larger teacher network or ensemble of networks. In this paper, we extend this idea to allow the training of a student that is deeper and thinner than the teacher, using not only the outputs but also the intermediate representations learned by the teacher as hints to improve the training process and final performance of the student. Because the student intermediate hidden layer will generally be smaller than the teacher's intermediate hidden layer, additional parameters are introduced to map the student hidden layer to the prediction of the teacher hidden layer. This allows one to train deeper students that can generalize better or run faster, a trade-off that is controlled by the chosen student capacity. For example, on CIFAR-10, a deep student network with almost 10.4 times less parameters outperforms a larger, state-of-the-art teacher network.

研究の動機と目的

• メモリと計算効率のために広く深いネットワークの圧縮を動機づける。
• 教師由来のヒントを用いて薄く深い学生ネットワークを訓練する方法を導入する。
• 訓練を導くために中間表現と組み合わせた知識蒸留を活用する。
• より深く薄いモデルが標準ベンチマークで教師の性能に匹敵するか、超えることを実証する。
• 最適化のための実践的な段階的訓練とカリキュラム学習の観点を示す。

提案手法

• 温度パラメータ tau を用いて教師のソフト化出力を模倣する student を対象とするKnowledge Distillation (KD) のレビュー。
• 教師の隠れ層（ヒント）を、次元が異なる場合はレグレッサを介して学生の対応する隠れ層（guided）を導くヒントベース訓練を導入する。
• 学生の guided 層を教師の hint 層へマッピングする畳み込みレグレッサを使用し、パラメータ増加を抑制する。
• 段階的訓練手順を説明：まず hints を用いて guided 層まで訓練し、次にKD 損失を用いて全体の FitNet を訓練する。
• 損失 L_KD を、標準のクロスエントロピーとソフト化された教師出力項を組み合わせ、λ でバランスさせる；L_HT は教師ヒントと学生の guided 表現間のヒントベースの対応付けの損失である。
• カリキュラム学習との関係を議論し、教師の自信がカリキュラム信号として機能し、訓練中に λ がアニーリングされる。

実験結果

リサーチクエスチョン

• RQ1 より深く薄い学生ネットワークを中間的な教師表現をヒントとして活用することで効果的に訓練できるか？
• RQ2 ヒントベース訓練と KD は、深く薄いネットワークを訓練する際に標準のバックプロパゲーションや純粋な KD を上回るか？
• RQ3 FitNets を用いた場合のモデルの深さ、パラメータ数、推論効率のトレードオフはどうなるか？
• RQ4 FitNets は教師や他の圧縮手法と比較して標準のビジョンベンチマークでどれだけ汎化するか？

主な発見

• 深く薄い学生ネットワークは、教師よりも少数のパラメータと計算で性能を上回ることができる。
• ヒントベース訓練（HT）は、KD 単体よりも深いネットワークを訓練可能にし、一般化性能が向上する。
• CIFAR-10 では約 250K パラメータの深い 11 層 FitNet が 89.01% の精度を達成し、教師を上回り、 substantial な速度向上と圧縮を実現。
• CIFAR-10 でより大きい FitNets（例：11–19 層）では、約 2.5M パラメータで精度が 91.61% に達し、能力がはるかに少ない容量にもかかわらず教師（約 9M パラメータ）を上回る。
• CIFAR-100 では FitNets は再び教師を上回り、パラメータ削減（約3倍）と競争力のある精度を示す。
• SVHN では FitNets が約 30K–1.5M パラメータで競争力の誤差率を達成し、教師と同等かそれより良い水準を、パラメータの一部で実現する。
• MNIST のテストでは HT と KD の組み合わせに substantial な gains が見られ、教師より 12 倍少ないパラメータで FitNet が 0.51% の誤分類率を達成。
• AFLW の実験は、ヒントが薄いアーキテクチャで noticeable な改善をもたらすことを示し、HT はいくつかのケースで KD を上回った。