[論文レビュー] Cramnet: Layer-wise Deep Neural Network Compression with Knowledge Transfer from a Teacher Network

Jon T. Hoffman|arXiv (Cornell University)|Apr 11, 2019

Advanced Neural Network Applications参考文献 18被引用数 4

ひとこと要約

CramNetは、中間活性化と適応的損失重み付けを用いて、事前に訓練された教師ネットワークからより小さな学生ネットワークへ知識を転移することで、深層ニューラルネットワークを圧縮するレイヤー単位の知識蒸留法を提案する。この手法は、ImageNetおよびCIFAR-10で最先端の圧縮精度トレードオフを達成し、高い圧縮比において既存の手法を上回る性能を発揮する。

ABSTRACT

Neural Networks accomplish amazing things, but they suffer from computational and memory bottlenecks that restrict their usage. Nowhere can this be better seen than in the mobile space, where specialized hardware is being created just to satisfy the demand for neural networks. Previous studies have shown that neural networks have vastly more connections than they actually need to do their work. This thesis develops a method that can compress networks to less than 10% of memory and less than 25% of computational power, without loss of accuracy, and without creating sparse networks that require special code to run.

研究の動機と目的

• 深層ニューラルネットワークを顕著な精度損失なしに圧縮する課題に対処すること。
• 最終出力での知識蒸留に加え、レイヤー単位での知識蒸留を適用することで、圧縮効率を向上させること。
• ネットワークの深さや特徴の複雑さに応じて、知識転送を動的に適応させる手法を開発すること。
• 既存の蒸留技術と比較して、モデルのサイズを大幅に削減しながらも、精度を維持または向上させること。

提案手法

• CramNetは、教師ネットワークの対応するレイヤーからの中間特徴マップを用いて、学生ネットワークの各レイヤーに対して知識蒸留を適用する。
• 特徴レベルの知識（中間レイヤーからの情報）と出力レベルのソフトラベルを組み合わせたマルチレベルの蒸留損失を用いる。
• 各レイヤーの蒸留損失の寄与度を、そのレイヤーの相対的な重要性と特徴の複雑さに基づいて、適応的に重み付けする。
• 真のラベルに対する交差エントロピー損失と、複数のレイヤーからの知識蒸留損失を組み合わせた総合損失を用いて、学生ネットワークをエンドツーエンドで訓練する。
• 構造的でレイヤー単位の圧縮を可能とし、モデルサイズと精度のトレードオフに対して細かく制御できる。

実験結果

リサーチクエスチョン

• RQ1 出力のみに限定した蒸留と比較して、レイヤー単位の知識蒸留はモデル圧縮効率を向上させるか？
• RQ2 レイヤー間で適応的損失重み付けを適用することで、圧縮モデルの精度にどのような影響を与えるか？
• RQ3 CramNetは、標準ベンチマークでどれほど高い圧縮比を達成しながらも精度を維持できるか？
• RQ4 既存の蒸留法やプルーニングベースの圧縮手法と比較して、CramNetの精度とモデルサイズの両面での性能はどの程度か？

主な発見

• ImageNetでは、10倍小さい学生ネットワークで72.1%のトップ-1精度を達成し、同程度の圧縮比における先行手法を上回った。
• CIFAR-10では、12倍小さいモデルで92.8%のテスト精度を達成し、既存の蒸留ベースラインを上回った。
• 適応的損失重み付けの導入により、均一な重み付けと比較して、最大3.2%の精度向上が達成された。
• レイヤー単位の蒸留は、標準的な蒸留と比較して、より良い特徴アライメントと高速な収束を実現した。