[論文レビュー] Pruning Deep Neural Networks from a Sparsity Perspective

Enmao Diao, Ganghua Wang+4 more|arXiv (Cornell University)|Feb 11, 2023

Neural Networks and Applications被引用数 7

ひとこと要約

本稿では、6つの理想的なスパarsity特性を満たす新規なスパarsity測定指標であるPQインデックス（PQI）を導入し、ニューラルネットワークの圧縮可能性を定量化する。PQIを用いて、反復的 pruning の過程でスパarsity比を動的に調整する Sparsity-informed Adaptive Pruning（SAP）アルゴリズムを開発した。実験の結果、特に過酷な pruning 条件下でも性能を維持する点で、ロットリーチケット pruning や他の最先端手法に比べ、SAPは優れた圧縮効率とロバスト性を達成した。

ABSTRACT

In recent years, deep network pruning has attracted significant attention in order to enable the rapid deployment of AI into small devices with computation and memory constraints. Pruning is often achieved by dropping redundant weights, neurons, or layers of a deep network while attempting to retain a comparable test performance. Many deep pruning algorithms have been proposed with impressive empirical success. However, existing approaches lack a quantifiable measure to estimate the compressibility of a sub-network during each pruning iteration and thus may under-prune or over-prune the model. In this work, we propose PQ Index (PQI) to measure the potential compressibility of deep neural networks and use this to develop a Sparsity-informed Adaptive Pruning (SAP) algorithm. Our extensive experiments corroborate the hypothesis that for a generic pruning procedure, PQI decreases first when a large model is being effectively regularized and then increases when its compressibility reaches a limit that appears to correspond to the beginning of underfitting. Subsequently, PQI decreases again when the model collapse and significant deterioration in the performance of the model start to occur. Additionally, our experiments demonstrate that the proposed adaptive pruning algorithm with proper choice of hyper-parameters is superior to the iterative pruning algorithms such as the lottery ticket-based pruning methods, in terms of both compression efficiency and robustness.

研究の動機と目的

• 反復的 pruning の過程で、サブネットワークの圧縮可能性を定量化可能な指標が不足している問題に対処すること。
• スパarsityの6つの理想的な特性をすべて満たすスパarsity測定指標を構築し、信頼性の高い圧縮可能性推定を可能にすること。
• 圧縮可能性に基づいてスパarsity比を動的に調整する新しい pruning アルゴリズムを提案し、効率性とロバスト性を向上させること。
• PQIのダイナミクスが pruning の過程でモデル性能の変化を的確に反映しているという仮説を実証的に検証すること。
• PQIを用いた適応的 pruning が、固定比 pruning 手法に比べて圧縮効率と精度の両面で優れていることを示すこと。

提案手法

• 6つの理想的なスパarsity特性（ロビンフッド、スケーリング、リジング・タイト、クローン、ビル・ゲイツ、ベイビーズ）をすべて満たす新規なベクトルスパarsity測定指標であるPQインデックス（PQI）を提案する。
• 各 pruning イテレーションにおいて、PQIを用いて prune されたサブネットワークの圧縮可能性を推定し、適応的 pruning 決定を支援する。
• PQIのトレンドに基づいてスパarsity比を調整することで、過剰または不十分な pruning を回避する Sparsity-informed Adaptive Pruning（SAP）アルゴリズムを開発する。
• 動的 pruning 策略を採用し、現在のPQI値とそのイテレーション間での変化に基づいて、スパarsity比を決定する。
• CIFAR-10でCNNを用いて、グローバル、ニューロン単位、レイヤー単位のさまざまな pruning スコープにわたるSAPの性能を評価する。
• SAPの適応的挙動をチューニングし、ロバスト性を検証するために、ハイパーパramータ p, q, ηr, γ に対するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 6つの理想的な特性をすべて満たすスパarsity測定指標が、pruning されたニューラルネットワークの圧縮可能性を信頼性高く推定できるか？
• RQ2 PQIのダイナミクスは、反復的 pruning の過程でモデル性能に意味のある変化を的確に反映しているか？
• RQ3 PQIを指針とする適応的 pruning アルゴリズムは、固定比手法に比べてより優れた圧縮効率とロバスト性を達成できるか？
• RQ4 グローバル、ニューロン単位、レイヤー単位の異なる pruning スコープは、SAPアルゴリズムの性能と安定性にどのように影響を与えるか？
• RQ5 異なるデータセットとアーキテクチャにおいて、SAPアルゴリズムの最適なハイパーパramータ設定（p, q, ηr, γ）は何か？

主な発見

• PQインデックス（PQI）は、6つの理想的な特性をすべて満たす最初のスパarsity測定指標であり、ベクトルスパarsityの理論的根拠に基づく信頼性の高い指標である。
• PQIのダイナミクスは、予想されるパターンに従う：有効な正則化の段階で減少し、過学習の兆候が現れる段階で増加し、モデル崩壊段階で再び減少する。
• ニューロン単位の pruning を用いたSAPは、「ワンショット」や「ロットリーチケット」手法に比べ、圧縮効率とロバスト性に優れ、残存重み比が低い状況でも顕著な優位性を示した。
• 反復的 pruning の過程で、pruned モデルのスパarsityは減少する傾向にあり、PQIの差分は pruning が期待通りに進行しているかを確認するための妥当性のチェックとして機能する。
• アブレーションスタディの結果、ハイパーパramータ p と q が pruning の攻撃的強度を制御しており、最適な性能は p ≈ q かつ q が p から離れている場合に達成されることが確認された。
• SAPの性能はロジスティック減衰パターンに従い、その曲線の変曲点がPQI測定値のピークと一致しており、圧縮可能性ダイナミクスに関する仮説の妥当性が裏付けられた。