[論文レビュー] Lost in Pruning: The Effects of Pruning Neural Networks beyond Test Accuracy

Lucas Liebenwein, Cenk Baykal+3 more|arXiv (Cornell University)|Mar 4, 2021

Advanced Neural Network Applications参考文献 63被引用数 29

ひとこと要約

本論文は、テスト精度を維持するためのニューラルネットワークの剪定が、分布シフトに対する頑健性と一般化を低下させ得ると主張する。剪定ポテンシャルはタスクとデータ分布によって異なり、過剰パラメータ化の仮定を揺るがす。

ABSTRACT

Neural network pruning is a popular technique used to reduce the inference costs of modern, potentially overparameterized, networks. Starting from a pre-trained network, the process is as follows: remove redundant parameters, retrain, and repeat while maintaining the same test accuracy. The result is a model that is a fraction of the size of the original with comparable predictive performance (test accuracy). Here, we reassess and evaluate whether the use of test accuracy alone in the terminating condition is sufficient to ensure that the resulting model performs well across a wide spectrum of "harder" metrics such as generalization to out-of-distribution data and resilience to noise. Across evaluations on varying architectures and data sets, we find that pruned networks effectively approximate the unpruned model, however, the prune ratio at which pruned networks achieve commensurate performance varies significantly across tasks. These results call into question the extent of \emph{genuine} overparameterization in deep learning and raise concerns about the practicability of deploying pruned networks, specifically in the context of safety-critical systems, unless they are widely evaluated beyond test accuracy to reliably predict their performance. Our code is available at https://github.com/lucaslie/torchprune.

研究の動機と目的

• 性能を保ちつつパラメータを削減する手段としての剪定を動機づける一方、テスト精度を唯一の剪定基準とする考えが十分かどうかを疑問視する。
• 剪定されたネットワークと未剪定の親モデルを比較するための機能的距離指標を導入する。
• 名目上の性能を維持する最大の prune ratio を prune potential と定義し、タスクと分布の変化に対するその変動を調べる。
• 剪定が分布シフト、ノイズ、および out-of-distributionデータに対する頑健性に与える影響を調査する。
• 分布シフト下および再学習時の剪定に関する実践的ガイドラインを提供する。

提案手法

• データセット（CIFAR-10、ImageNet、PASCAL VOC）およびアーキテクチャ（ResNet、WRN、DenseNet、VGG）に対して、反復的な prune-retrain パイプライン（非構造的および構造的剪定）を用いる。
• 剪定手法の比較：weight thresholding (WT)、SiPP、Filter Thresholding (FT)、そして Provable Filter Pruning (PFP)。
• 情報的特徴量とノイズ類似性に基づく新しい距離指標を用いて機能的類似性を形式化する。
• 分布シフト（nominal vs. out-of-distributionデータ）における頑健性を定量化するために prune potential と excess loss を定義する。
• 特徴量重要性のノルムや層別剪定予算の範囲にわたり評価し、腐敗（CIFAR10-C、ImageNet-C）およびノイズ下での性能を評価する。
• PruneRetrain（Algorithm 1）および実験設定のアルゴリズム的記述を提供する。

実験結果

リサーチクエスチョン

• RQ1 剪定されたネットワークは、タスクや剪定率を跨いで未剪定の親モデルと機能的に類似したままか？
• RQ2 prune potential はタスク、アーキテクチャ、およびデータ分布によってどう変化するか？
• RQ3 剪定対応モデルは名目上のテスト精度を維持しつつ、out-of-distribution またはノイズのあるデータで劣化するか？
• RQ4 剪定ガイドラインは分布シフトを考慮して、安全上不可欠な故障を回避できるか？

主な発見

• 剪定されたモデルは未圧縮の親と機能的に類似しており、さまざまな剪定率で別に訓練されたネットワークと識別できる。
• 剪定ポテンシャルはタスクとデータ分布によって大きく異なり、難解な推論タスクではしばしば低い。
• 剪定済みネットワークは、 nominal accuracy が未剪 prune モデルと一致していても、分布シフトやノイズに対してより脆弱になりがちである。
• out-of-distributionデータでの性能は名目上のテスト精度だけから推定できず、導入時の安全性懸念を生じさせる。
• 剪定ガイドラインは、分布シフトが予想される場合には剪定を避けることを示唆し、データ拡張やロバスト性を高める訓練を用いて頑健性の低下を緩和する。
• 本研究は prune potential を通じて過剰パラメータ化を測定するフレームワークを提供し、テスト精度を超えるタスク固有の評価を推奨する。