[論文レビュー] Few Shot Network Compression via Cross Distillation

Haoli Bai, Jiaxiang Wu+2 more|arXiv (Cornell University)|Nov 21, 2019

Advanced Neural Network Applications参考文献 40被引用数 17

ひとこと要約

本稿では、教師から生徒へ（誤差補正）と生徒から教師へ（誤差模倣）の両方を同時に実行することにより、少サンプル学習における層別推定誤差を低減する、新たな知識蒸留フレームワーク「クロス蒸留」を提案する。これらの二重監視信号を凸結合することで、クラスあたり数サンプルの訓練データでのみ、生徒ネットワークの精度を顕著に向上させ、CIFAR-10およびImageNetの既存ベースラインを上回る性能を達成する。

ABSTRACT

Model compression has been widely adopted to obtain light-weighted deep neural networks. Most prevalent methods, however, require fine-tuning with sufficient training data to ensure accuracy, which could be challenged by privacy and security issues. As a compromise between privacy and performance, in this paper we investigate few shot network compression: given few samples per class, how can we effectively compress the network with negligible performance drop? The core challenge of few shot network compression lies in high estimation errors from the original network during inference, since the compressed network can easily over-fits on the few training instances. The estimation errors could propagate and accumulate layer-wisely and finally deteriorate the network output. To address the problem, we propose cross distillation, a novel layer-wise knowledge distillation approach. By interweaving hidden layers of teacher and student network, layer-wisely accumulated estimation errors can be effectively reduced.The proposed method offers a general framework compatible with prevalent network compression techniques such as pruning. Extensive experiments on benchmark datasets demonstrate that cross distillation can significantly improve the student network's accuracy when only a few training instances are available.

研究の動機と目的

• 限られた訓練データによる過学習と層間での誤差蓄積が顕著な少サンプル学習におけるネットワーク圧縮の文脈で、高い推定誤差を是正すること。
• クラスあたり数サンプル程度の微調整制限下でも、圧縮された生徒ネットワークの汎化性能とロバスト性を向上させること。
• 既存の圧縮技術（例：プルーニングや量子化）と互換性があり、汎用的かつ即挿し可能なフレームワークを構築すること。
• 完全な訓練データが利用できないプライバシー保護型環境下で、圧縮モデルの性能低下を低減すること。

提案手法

• クロス蒸留は二重ループ型の知識伝達メカニズムを導入する：補正（教師の隠れ特徴が生徒をガイド）と模倣（生徒の隠れ特徴が教師をガイド）の両方を実行する。
• 補正と模倣の両方の損失関数を凸結合することで、誤差低減と特徴一致のバランスを図る。
• 教師と生徒の特徴間の推定誤差と、それらの隠れ表現の不一致を最小化する統合損失関数を定式化する。
• 既存の圧縮パイプラインに統合することで、構造的および非構造的プルーニングの両方をサポートする。
• 凸結合が層別誤差伝搬をどのように低減するかを理論的に分析する。
• トレードオフ重みμや凸結合におけるα,βといったハイパーパrameterは、グリッドサーチにより最適化され、性能のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 過学習が深刻な少サンプル学習における推定誤差を、どのように効果的に低減できるか？
• RQ2 生徒の誤差を補正すると同時に教師が生徒の誤差を模倣する二重監視が、データが極めて少ない環境下での汎化性能を向上させ得るか？
• RQ3 層別誤差蓄積を最小化する観点から、補正損失と模倣損失の最適なトレードオフは何か？
• RQ4 極端に少ないデータ下で、標準的知識蒸留およびデータフリー手法と比較して、クロス蒸留の精度とロバスト性はどのように差がつくか？
• RQ5 誤差伝搬が最も深刻な深層部や最終ログィット部において、クロス蒸留はより良い一般化性能を示すか？

主な発見

• クロス蒸留は、すべての層で推定誤差（ℒʳ）を顕著に低減し、特にconv4.3や最終ログィットといった深層部で最も顕著な改善が見られた。
• VGG-16を用いたCIFAR-10で5ショット学習の設定下、86.63%のトップ-1精度を達成し、ベースラインOurs-NCおよび他の競合手法を上回った。
• Ours（μ）の最適ハイパーパrameter設定は、VGG-16ではμ=0.6、ResNet-56ではμ=0.9付近であり、モデル依存の感受性が示された。
• 凸結合におけるα+β>1のOurs-Sは、常にOurs-NCを上回り、パラメータ空間の中間領域でピーク性能を示した。
• 感度分析から、補正のみ（μ=0.0）または模倣のみ（μ=1.0）を用いても強力な性能が得られることから、ハイパーパrameter選択に対して高いロバスト性があることが確認された。
• 深層部への一般化性能が優れており、ℒʳ / Ours-NCの比が深層部で1.0未満に低下したことで、誤差抑制が効果的に行われていることが示された。