[論文レビュー] Adaptive Sharpness-Aware Pruning for Robust Sparse Networks

Anna Bair, Hongxu Yin+3 more|arXiv (Cornell University)|Jun 25, 2023

Energy Efficient Wireless Sensor NetworksComputer Science被引用数 3

ひとこと要約

AdaSAPは、適応的重み摂動とシャープネス正則化を用いて損失関数の平坦性を最適化することで、より平坦な最小値を探索する3段階の pruning フレームワークを導入し、モデルの頑健性とスパarsityを向上させる。この手法は最先端の性能を達成し、さまざまなアーキテクチャとスパarsityレベルにおいて、ImageNet-Cで最大+6%、腐敗したVOCデータセットで最大+4%の頑健な精度向上を実現した。

ABSTRACT

Robustness and compactness are two essential attributes of deep learning models that are deployed in the real world. The goals of robustness and compactness may seem to be at odds, since robustness requires generalization across domains, while the process of compression exploits specificity in one domain. We introduce Adaptive Sharpness-Aware Pruning (AdaSAP), which unifies these goals through the lens of network sharpness. The AdaSAP method produces sparse networks that are robust to input variations which are unseen at training time. We achieve this by strategically incorporating weight perturbations in order to optimize the loss landscape. This allows the model to be both primed for pruning and regularized for improved robustness. AdaSAP improves the robust accuracy of pruned models on image classification by up to +6% on ImageNet C and +4% on ImageNet V2, and on object detection by +4% on a corrupted Pascal VOC dataset, over a wide range of compression ratios, pruning criteria, and network architectures, outperforming recent pruning art by large margins.

研究の動機と目的

• 分布シフトおよびノイズに強いモデルのコンパクト化と頑健性を同時に最適化するという未解決の課題に対処すること。
• スパarsityと頑健性を損失関数の平坦性という観点から統合し、圧縮と一般化のトレードオフを回避すること。
• 分布シフトや画像の腐敗に対しても高い性能を維持できるpruning手法を開発すること、特に高スパarsity比下でも有効であること。
• 平坦性に基づく最適化が、同時にpruningに適したモデルの準備と、分布外入力に対する頑健性の向上を実現できることを示すこと。

提案手法

• 微調整の過程で、削除される可能性の高い領域における平坦な最小値を促進するために、適応的重み摂動が適用され、低重要度のニューロンを削除した際の性能低下を最小限に抑える。
• 適応的摂動の後に、マグニチュードやテイラー近似などの感度基準を用いて冗長なチャネルを同定・削除する構造的pruning手順が適用される。
• pruning後、すべての層に均一なシャープネスペナルティを適用して微調整することで、より平坦な損失関数の形状を促進し、頑健な一般化性能を向上させる。
• 重み摂動の範囲内で損失の最大上昇を定義する、修正された損失関数が使用され、その式は $\max_{\|\epsilon\|_{2}\leq\rho}L_{S}(w+\epsilon)-L_{S}(w)$ で与えられる。
• 本手法は、さまざまなpruning基準やネットワークアーキテクチャ（ResNet50、MobileNet V1/V2、SSD512など）と、分類および検出タスクの両方で互換性を持つ。
• 本手法は特定のpruning基準に依存せず、マグニチュード、テイラー、またはその他の重要度指標と統合可能である。

実験結果

リサーチクエスチョン

• RQ1 統一的な最適化戦略により、モデルのスパarsityと分布シフト・画像腐敗に対する頑健性を同時に向上させることは可能か？
• RQ2 トレーニング中に適応的重み摂動を適用することで、pruningや分布外入力に対してより耐性のある平坦な最小値が得られるか？
• RQ3 pruning後にシャープネス正則化を適用することで、精度を損なわせることなく、頑健な一般化性能をどの程度向上させられるか？
• RQ4 高スパarsity比および多様なデータ腐敗下で、AdaSAPはSOTAのpruning手法と比較してどの程度優れているか？

主な発見

• 高スパarsity比下で、SOTAのpruning手法と比較して、ImageNet-Cで+6%、ImageNet-V2および腐敗したVOCデータセットで+4%の頑健な精度向上を達成した。
• 80%のpruning比下で、マグニチュードpruningを用いたAdaSAPは、ImageNet-Cで37.30%の頑健な精度を達成し、次に優れた手法よりも3.33ポイント高い性能を示した。
• 損失関数のシャープネス指標で測定したところ、pruning前後で平坦な損失関数の形状を維持しており、それぞれ0.037（前）と0.039（後）の値を示した。これは、ベースライン手法よりも一貫して平坦であった。
• 95%信頼区間では、3つの異なる乱数シードで安定した性能を示し、23%のpruning比下でAdaSAPは78.23±0.06%のクリーンな検証精度を達成し、ベースラインを著しく上回った。
• AdaSAPは、複数のpruning基準においても柔軟かつ効果的であり、テイラーpruningを用いたSGDと比較して優れた性能を発揮し、マグニチュードpruningと同等またはそれを上回る性能を達成した。
• 本手法は、2つのタスク（分類および検出）、4つのネットワーク、2つのpruningパラダイム（パラメータベースおよびレイテンシベース）、および25%～80%のスパarsity比の多様な設定において、最先端の結果を達成した。