[論文レビュー] Cascaded channel pruning using hierarchical self-distillation

Roy Miles, Krystian Mikolajczyk|arXiv (Cornell University)|Aug 16, 2020

Evolutionary Algorithms and Applications参考文献 32被引用数 7

ひとこと要約

本稿では、階層的自己 distillation を用いた段階的チャネルプルーニングを提案する。複数の教員モデル（TAs）が共有重みとアーキテクチャを持つことで、順次的プルーニングを通じて学生モデルをガイドする。高い容量を持つ TAs からの代替勾配を活用することで、強力な精度保持とモデル圧縮を達成した。ImageNet における ResNet50 では、パラメータを最大 3.6× 減少、FLOPs を 3.7× 減少させながら、ベースラインにほぼ等しい精度を維持した。

ABSTRACT

In this paper, we propose an approach for filter-level pruning with hierarchical knowledge distillation based on the teacher, teaching-assistant, and student framework. Our method makes use of teaching assistants at intermediate pruning levels that share the same architecture and weights as the target student. We propose to prune each model independently using the gradient information from its corresponding teacher. By considering the relative sizes of each student-teacher pair, this formulation provides a natural trade-off between the capacity gap for knowledge distillation and the bias of the filter saliency updates. Our results show improvements in the attainable accuracy and model compression across the CIFAR10 and ImageNet classification tasks using the VGG16and ResNet50 architectures. We provide an extensive evaluation that demonstrates the benefits of using a varying number of teaching assistant models at different sizes.

研究の動機と目的

• リソース制限のあるデバイス上で、最小限の精度低下で高圧縮比のモデルプルーニングを達成すること。
• スケジュールの緩和と微調整サイクルに依存する反復的プルーニングパイプラインの限界を克服すること。
• プルーニング中の知識蒸留における容量ギャップを最小限に抑え、フィルタ重要度の更新におけるバイアスを低減すること。
• 事前学習済みの中間モデルを必要とせず、プルーニングされたモデルのスケーラブルでエンドツーエンドの訓練を可能にすること。
• CIFAR10 および ImageNet における VGG16 と ResNet50 におけるパラメータおよび FLOP の効率性を向上させること。

提案手法

• 各学生モデルが対応する教員モデル（TA）と同一のアーキテクチャと重みを持つ、学生-教員ペairの階層を構築する。
• プルーニングマスクは、より低いプルーニング率で高い容量を持つ TAs からの代替勾配を用いたストレートスラッシュ推定法により更新される。
• 各 TA が知識蒸留と勾配信号を同時に提供することで、スケーリングの更新におけるバイアスを低減する。
• プルーニングプロセスは段階的である：最大のモデルから開始し、各学生モデルは対応する TA からの勾配を用いて独立にプルーニングされる。
• 階層内のすべてのモデルは、共有畳み込み重み、バッチ正則化層、および独立したプルーニングマスクを共有して共同学習される。
• 反復的微調整を回避するため、マスクと重みを同時に学習し、安定した収束を得るために適応的最適化（例：RMSProp）を用いる。

実験結果

リサーチクエスチョン

• RQ1 反復的微調整を必要としない階層的自己 distillation フレームワークは、チャネルプルーニングにおける精度と圧縮性能を向上させることができるか？
• RQ2 教員モデルの数が、プルーニングにおける容量ギャップとスケーリング勾配バイアスのトレードオフに与える影響は何か？
• RQ3 教員モデルと学生モデル間で重みを共有することで、メモリ効率と性能にどのような影響があるか？
• RQ4 段階的プルーニングは、ImageNet などの大規模データセットで、3.6× の高圧縮比を達成しつつ、精度の著しい低下を抑えることができるか？
• RQ5 FLOP 減少とパラメータ効率の観点から、最先端のフィルタプルーニング手法と比較して、本手法はどのように差をつけるか？

主な発見

• CIFAR10 と VGG16 では、パラメータを 1.9× 減少、FLOPs を 2.3× 減少させ、ベースラインよりトップ-1精度が 0.10% 向上した。
• ImageNet と ResNet50 では、パラメータを 3.6× 減少、FLOPs を 3.7× 減少させ、トップ-1精度はわずか 2.5% の低下にとどまった。
• 2つの教員モデルを用いることで、高プルーニング比でも性能が向上し、中間の容量を持つモデルが学生-教員間の容量ギャップを低減する利点を示した。
• CIFAR10 と VGG16 では、約 15× の圧縮比と約 6× の FLOP 減少を達成し、精度の低下はほとんどなかった。
• アブレーションスタディにより、教員モデルの導入が、特に高プルーニング比の状況で精度を顕著に向上させることを確認した。これは、より良い勾配ガイダンスによるものである。
• SGD の代わりに RMSProp を使用することで、収束が速くなり、層間のプルーニングが一様に実行され、全体の性能が向上した。