[論文レビュー] Hessian-Aware Pruning and Optimal Neural Implant

Shixing Yu, Zhewei Yao+5 more|arXiv (Cornell University)|Jan 22, 2021

Advanced Neural Network Applications参考文献 72被引用数 5

ひとこと要約

本稿では、Hessianのトレースを用いて感度の低いニューラルネットワーク部品を同定・削除し、中程度に感度の高い部品を低ランクのニューラルインプラントに置き換えることで、精度を保持する第二階層の構造的 pruning 法である Hessian-Aware Pruning (HAP) を提案する。HAP は、70% のパラメータ削減において PreResNet29 (CIFAR-10) で 0.1% 未満の精度低下を達成し、ResNet50 (ImageNet) では 50% のパラメータ削減で HRank より最大 2% の高い精度を達成するなど、最先端の性能を実現する。

ABSTRACT

Pruning is an effective method to reduce the memory footprint and FLOPs associated with neural network models. However, existing structured-pruning methods often result in significant accuracy degradation for moderate pruning levels. To address this problem, we introduce a new Hessian Aware Pruning (HAP) method coupled with a Neural Implant approach that uses second-order sensitivity as a metric for structured pruning. The basic idea is to prune insensitive components and to use a Neural Implant for moderately sensitive components, instead of completely pruning them. For the latter approach, the moderately sensitive components are replaced with with a low rank implant that is smaller and less computationally expensive than the original component. We use the relative Hessian trace to measure sensitivity, as opposed to the magnitude based sensitivity metric commonly used in the literature. We test HAP for both computer vision tasks and natural language tasks, and we achieve new state-of-the-art results. Specifically, HAP achieves less than $0.1\%$/$0.5\%$ degradation on PreResNet29/ResNet50 (CIFAR-10/ImageNet) with more than 70\%/50\% of parameters pruned. Meanwhile, HAP also achieves significantly better performance (up to 0.8\% with 60\% of parameters pruned) as compared to gradient based method for head pruning on transformer-based models. The framework has been open sourced and available online.

研究の動機と目的

• 中程度から高い pruning 確率において一般的に見られる顕著な精度低下を是正すること。
• 感度の低いニューラル部品を識別するための高速でスケーラブルな第二階層の感度指標を開発すること。
• 中程度に感度の高い部品を完全に削除する代わりに、低ランクのニューラルインプラントで置き換えるメカニズムを導入すること。
• パラメータ数と FLOPs を削減することでモデル効率を向上させつつ、画像認識および NLP タスクで高い精度を維持すること。
• 広範な実験的評価を通じて、従来のマグニチュードベースおよび勾配ベースの pruning 法よりも優れていることを示すこと。

提案手法

• 損失関数の平坦性に与える影響を評価するため、Hessian トレースを第二階層の感度指標として用い、ニューラルネットワークのチャネルを損失の平坦性への寄与度に基づいて順序付け・優先度付けする。
• Hessian トレース感度が最も低いチャネルを一括して削除することで構造的 pruning を実行し、個々のパラメータの分析ではなくグループベースの効率的な pruning を実現する。
• 中程度に感度の高い部品については、元のレイヤーよりも計算コストが低く、サイズも小さい低ランクのニューラルインプラントに置き換える。
• Hessian トレースを用いてインプラントを適用する場所をガイドしながら、インプラントを組み込んだ pruning モデルを微調整し、精度を回復および向上させる。
• Hessian に基づく感度分析と低ランク近似を組み合わせ、感度の高いレイヤーにのみインプラントを適用するように選択的に適用することで、効率性と性能を向上させる。
• HAP とマグニチュードベースのベースラインとの公平な比較を確保するため、FLOPs を一致させ、パラメータ効率に関する直接的な性能評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Hessian トレースで測定される第二階層の感度は、マグニチュードベースの指標よりも構造的ニューラルネットワーク pruning において優れているか？
• RQ2 中程度に感度の高い部品を低ランクのニューラルインプラントに置き換えることで、高比率の pruning 時における精度の低下が緩和されるか？
• RQ3 HAP は、EigenDamage や HRank といった最先端の pruning 法と比較して、精度、パラメータ数、FLOPs の観点で優れているか？
• RQ4 Hessian に配慮したインプラント配置は、全モデルに単純に低ランク近似を適用するのと比べて、どれほど性能向上に寄与するか？
• RQ5 HAP は、視覚モデル（例：ResNet）や NLP モデル（例：RoBERTa）を含む多様なアーキテクチャにおいて、高い精度を維持できるか？

主な発見

• PreResNet29 (CIFAR-10) において、HAP は元のパラメータの 31% を残した状態で 94.3% の精度を達成し、これは 0.1% 未満の精度低下にとどまる。
• ResNet50 (ImageNet) では、パラメータのほぼ 50% を削減した後も 75.1% のトップ-1精度を達成し、精度低下はわずか 0.5% にとどまる。
• 先行する最先端の HRank 法と比較して、HAP はより少ないパラメータと FLOPs を使用しながら、ResNet50 で最大 2% の高い精度を達成する。
• MRPC および QNLI における RoBERTa のヘッド pruning において、HAP は 60% のヘッド削減で勾配ベースのベースラインと比較して最大 0.89% の精度向上を達成する。
• FLOPs のレベルを同じにした場合、HAP は 21.01% のパラメータで 92.06% の精度を達成するが、マグニチュードベースの方法では 38.25% のパラメータを必要とする。
• アブレーションスタディの結果、Hessian に基づく感度順序付けはランダムまたは逆順序付けよりも顕著に優れており、HAP は 35.5% のパラメータが残存する状態で R-HAP よりも 3% 以上の高い精度を達成する。