[論文レビュー] The Combinatorial Brain Surgeon: Pruning Weights That Cancel One Another in Neural Networks

Xin Yu, Thiago Serra+2 more|arXiv (Cornell University)|Mar 9, 2022

Brain Tumor Detection and Classification被引用数 4

ひとこと要約

Combinatorial Brain Surgeon (CBS) は、損失増加を最小限に抑えるために、組み合わせ的影響に基づいて重みを同時に選択する新しい剪定手法を提案する。Mixed-Integer Quadratic Programming (MIQP) の定式化により、マグニチュードベースおよび既存のヘシアンベースの手法を上回り、特に高いスパarsity（例：95–98%）において、重みキャンセレーション効果と1パスの重み更新を活用して、MNIST、CIFAR-10、ImageNet ベンチマークで最先端の精度を達成する。

ABSTRACT

Neural networks tend to achieve better accuracy with training if they are larger -- even if the resulting models are overparameterized. Nevertheless, carefully removing such excess parameters before, during, or after training may also produce models with similar or even improved accuracy. In many cases, that can be curiously achieved by heuristics as simple as removing a percentage of the weights with the smallest absolute value -- even though magnitude is not a perfect proxy for weight relevance. With the premise that obtaining significantly better performance from pruning depends on accounting for the combined effect of removing multiple weights, we revisit one of the classic approaches for impact-based pruning: the Optimal Brain Surgeon(OBS). We propose a tractable heuristic for solving the combinatorial extension of OBS, in which we select weights for simultaneous removal, as well as a systematic update of the remaining weights. Our selection method outperforms other methods under high sparsity, and the weight update is advantageous even when combined with the other methods.

研究の動機と目的

• 既存の剪定手法が重みの削除を独立して評価するという限界を解決し、剪定された重み間の相乗効果を見逃していること。
• 複数の重みを同時に削除する影響を最適化することで、損失増加を最小限に抑える組み合わせ的剪定問題を定式化すること。
• 局所探索と準グリーディ初期化を用いて、NP困難な組み合わせ的剪定問題を解くための実用的ヒューリスティクスを開発すること。
• 重み選択と重み更新を分離することで、スケーラビリティを向上させ、未剪定重みの効率的な1パス更新を可能にすること。
• 共同影響の考慮が、特に過パラメータ化モデルにおいて、高スパarsityレベルで顕著に優れた性能を発揮することを示すこと。

提案手法

• 損失関数の二次近似を用いて、重みの集合を削除した際の損失増加をモデル化することで、Combinatorial Brain Surgeon (CBS) 問題をMixed-Integer Quadratic Program (MIQP) として定式化する。
• 訓練済み重みの周囲における損失の関数的テイラー展開を用い、局所的最小値を仮定し、3次以上の項を無視することで、損失変化の二次近似を導出する。
• 推定損失増加を低減する近傍解を探索することで、繰り返し重みの剪定対象を改善する局所探索アルゴリズムを適用する。
• 局所探索のための多様な初期重み集合を生成するために、マグニチュードベース剪定の確率的拡張を導入し、解空間の探索を強化する。
• Optimal Brain Surgeon (OBS) をインspired として、複数の同時削除を一般化した、効率的な1パスの体系的重み更新ルール（CBS-U）を提案する。
• 重み選択と重み更新を分離することで、スケーラビリティのボトルネックを回避し、既存の剪定パイプラインへの効率的な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数の重み削除を同時に考慮することで、逐次的または独立的な剪定よりも優れた剪定性能が得られるか？
• RQ2 剪定された重み同士のキャンセレーション効果（個別影響より組み合わせた影響が小さい）を考慮することで、高スパarsity下でのモデル精度が向上するか？
• RQ3 高価なヘシアン計算に依存せずに、NP困難な組み合わせ的剪定問題を解くための実用的ヒューリスティクスを設計可能か？
• RQ4 提案された1パス重み更新（CBS-U）は、既存のヘシアンベースの更新戦略と比べて、精度および効率性において優れているか？
• RQ5 本手法は、極めて高いスパarsityレベル（例：95–98%）において、多様なアーキテクチャおよびデータセットで性能を維持または向上させるか？

主な発見

• ImageNet における MobileNet で 98% スパarsity の条件下、CBS-S（組み合わせ的重み選択）はマグニチュード剪定（MP）に比べ17.20%の精度向上を達成し、精度を10.12%から15.49%に向上させる。
• CIFAR-10 における ResNet20 で 95% スパarsity の条件下、CBS-S は MP の17.61%から32.63%へ17.82%の向上を示し、極めて高いスパarsity下でも優れた性能を発揮する。
• MobileNet で 60% スパarsity の条件下、CBS-U（1パス重み更新）は精度を最大24.39%向上させ、効率的な重み更新が性能向上に顕著に寄与することを示す。
• MNIST における MLPNet で 95% スパarsity の条件下、CBS-S は 93.96% の精度を達成し、MP（83.64%）および WF-S（83.16%）を10ポイント以上上回る。
• CBS-S と CBS-U を併用することで、すべてのベンチマークで最先端の結果を達成し、高スパarsityレベルでマグニチュード剪定および WoodFisher よりも一貫した向上を示す。
• 本手法はアーキテクチャに強く、MLPNet、ResNet20、CIFARNet、MobileNet でテストされたすべてのモデルにおいて、複数のスパarsityレベルで最高または第2位の結果を達成する。