[論文レビュー] Weight Pruning via Adaptive Sparsity Loss

George Retsinas, Athena Elafrou+2 more|arXiv (Cornell University)|Jun 4, 2020

Advanced Neural Network Applications参考文献 66被引用数 6

ひとこと要約

本稿では、予算に配慮した反復的 pruning を学習中に可能にするために、適応的スパースネス損失を用いた軽量でエンド・ツー・エンドの重み pruning フレームワークを提案する。層ごとのスパースネスを微分可能関数として定式化し、トレーニング損失に可学習閾値を統合することで、各層の最適な pruning 水準を自動的に決定する。この手法により、ResNet、Wide ResNet、AlexNet アーキテクチャにおいて CIFAR-100 および ImageNet で高い圧縮率を達成しながら、精度の低下を最小限に抑えることができる。

ABSTRACT

Pruning neural networks has regained interest in recent years as a means to compress state-of-the-art deep neural networks and enable their deployment on resource-constrained devices. In this paper, we propose a robust compressive learning framework that efficiently prunes network parameters during training with minimal computational overhead. We incorporate fast mechanisms to prune individual layers and build upon these to automatically prune the entire network under a user-defined budget constraint. Key to our end-to-end network pruning approach is the formulation of an intuitive and easy-to-implement adaptive sparsity loss that is used to explicitly control sparsity during training, enabling efficient budget-aware optimization. Extensive experiments demonstrate the effectiveness of the proposed framework for image classification on the CIFAR and ImageNet datasets using different architectures, including AlexNet, ResNets and Wide ResNets.

研究の動機と目的

• リソース制約のあるデバイスへのディープニューラルネットワークのデプロイを可能にするための圧縮課題に対処すること。
• 複数回のファインチューニングサイクルや複雑なハイパーパramータチューニングを必要とする従来の pruning 方法の限界を克服すること。
• スパースネス制御をトレーニングプロセスに直接統合する低オーバーヘッドでエンド・ツー・エンドの pruning フレームワークを開発すること。
• ユーザーが定義するグローバルな予算制約のもとで、自動的かつ層ごとのスパースネス割り当てを可能にすること。

提案手法

• ガウス分布を仮定したもとで、誤差関数（erf）を用いた微分可能スパースネス定式化を導入し、勾配ベースの pruning 閾値最適化を可能にする。
• バックプロパゲーションを通過可能なプルーニングされた重みを許容するため、ストレートスルー推定（STE）を採用する。これにより、以前に pruned された接続が動的に再活性化可能になる。
• 各層ごとに可学習パラメータとして定式化された適応的スパースネス損失を導入し、グローバル予算を満たすようにスパースネスレベルを自動的に調整可能にする。
• 2種類の高速なマグニチュードベースの pruning 関数を用いる：1つはバイナリサーチを、もう1つは信頼区間解析を用いて、各層のターゲットスパースネスを維持する。
• トレーニング中にタスク損失と適応的スパースネス損失を組み合わせ、精度とスパースネスの両方を同時に最適化する。
• 固定スパースネスと予算に配慮した両方の pruning 策略をサポートし、後者は冗長性に応じて層ごとにスパースネスを動的に割り当てる。

実験結果

リサーチクエスチョン

• RQ1 複数回のファインチューニングサイクルを必要とせず、トレーニング中にエンド・ツー・エンドで予算に配慮した pruning を可能にする微分可能で適応的スパースネス損失を設計できるか？
• RQ2 提案手法は、標準的な画像分類ベンチマークで高い圧縮率を達成しながら、モデル精度をどの程度維持できるか？
• RQ3 グローバルなパラメータ数または FLOP の予算制約のもとで、自動的に各層の最適なスパースネスレベルを特定できるか？
• RQ4 精度-圧縮トレードオフの観点から、固定スパースネスまたは制約なしの pruning ベースラインと比較して、適応的スパースネス損失の性能はどの程度か？

主な発見

• WRN-16-8 を用いた CIFAR-100 では、85% の全体的スパースネスを達成し、密度モデルと比較してわずか 1.2% の精度低下にとどまり、収束性と安定性が優れていることが示された。
• AlexNet を用いた ImageNet では、制約なしバージョンが 265万パラメータ（95.7% 圧縮）を達成し、トップ-1精度が 56.62% に達した。これは、BA-FDNP や他の最先端の非構造的 pruning 法と同等またはそれを上回る性能を示した。
• ImageNet における ResNet50 では、適応的予算制約付きバージョンが、70% スパースネス（約 750万パラメータ）で、密度モデルの ResNet18 ベースラインを上回る精度を達成した。これは、強力な圧縮効率を示している。
• 適応的スパースネス損失により、より冗長性の高い層に高いスパースネスが自動的に割り当てられ、全体の圧縮効率が向上した。
• Ding ら [70] のような最先端の手法と同等またはそれ以上の精度-圧縮トレードオフを達成したが、極めて高いスパースネスレベルでは性能が類似していた。