[論文レビュー] SOSP: Efficiently Capturing Global Correlations by Second-Order Structured Pruning

Manuel Nonnenmacher, Thomas Pfeil+2 more|arXiv (Cornell University)|Oct 19, 2021

Advanced Neural Network Applications被引用数 10

ひとこと要約

本稿では、高速なヘシアン・ベクタ積を用いてすべての層にわたるグローバル相関を効率的に捉える、新規の2次構造的プルーニング手法SOSPを提案する。これにより、1次手法に匹敵するスケーラビリティを実現しながらも、2次手法の精度を維持する。SOSP-Hは、顕著な計算コストの低減を実現しつつ、SOTAの精度を達成し、ResNet-50のような大規模モデルにもスケーリング可能であり、従来の手法に比べてプルーニング効率が優れており、アーキテクチャ上のボトルネックの系統的同定を可能にする。

ABSTRACT

Pruning neural networks reduces inference time and memory costs. On standard hardware, these benefits will be especially prominent if coarse-grained structures, like feature maps, are pruned. We devise two novel saliency-based methods for second-order structured pruning (SOSP) which include correlations among all structures and layers. Our main method SOSP-H employs an innovative second-order approximation, which enables saliency evaluations by fast Hessian-vector products. SOSP-H thereby scales like a first-order method despite taking into account the full Hessian. We validate SOSP-H by comparing it to our second method SOSP-I that uses a well-established Hessian approximation, and to numerous state-of-the-art methods. While SOSP-H performs on par or better in terms of accuracy, it has clear advantages in terms of scalability and efficiency. This allowed us to scale SOSP-H to large-scale vision tasks, even though it captures correlations across all layers of the network. To underscore the global nature of our pruning methods, we evaluate their performance not only by removing structures from a pretrained network, but also by detecting architectural bottlenecks. We show that our algorithms allow to systematically reveal architectural bottlenecks, which we then remove to further increase the accuracy of the networks.

研究の動機と目的

• すべての層にわたる完全なヘシアン相関を捉え、構造的にグローバルに注意を向けるスケーラブルな構造的プルーニング手法の開発。
• 大規模ニューラルネットワークにおける完全2次プルーニングの非実行可能性を克服するため、低複雑度の近似を導入する。
• プルーニングマスクの分析とその後のネットワークの拡張を用いて、アーキテクチャ上のボトルネックを系統的に同定することを可能にする。
• 大規模なビジョンタスクにおける精度、効率、スケーラビリティの観点で、従来の1次および2次構造的プルーニング手法を上回ること。
• モデルの性能を維持しつつ推論コストを削減する実用的で効率的かつ理論的に裏付けられた構造的プルーニング手法を提供すること。

提案手法

• SOSP-Hは、高速なヘシアン・ベクタ積に基づく新規な2次近似を用い、1次手法と同等の複雑度で、効率的な顕著度評価を可能にする。
• この手法はヘシアン・ベクタ積を用いて顕著度スコアを計算し、明示的なヘシアンの計算を回避することで、深層ネットワークへのスケーラビリティを実現する。
• SOSP-Iは比較のためのベースラインとして、広く知られたガウス・ニュートン近似を用い、信頼性の高い2次手法の基準を提供する。
• プルーニングプロセスは、ヘシアン近似から導かれる顕著度スコアに基づき、グローバルかつ構造レベルでの削除（例：フィルタ、チャネル）を実行する。
• この手法は、層ごとのプルーニング比を分析することにより、標準的なプルーニングと同時にアーキテクチャ的ボトルネックの同定を可能にする。
• パラメータ数とMAC数は、生存するフィルタ数と空間次元に基づき正確に計算され、正確な効率測定を保証する。

実験結果

リサーチクエスチョン

• RQ1 2次構造的プルーニング手法は、計算コストが著しく増大するのを避けながら、すべての層および構造にわたるグローバル相関を効率的に捉えることができるか？
• RQ2 ヘシアン・ベクタ積を用いた顕著度近似は、既存の1次および2次手法と同等またはそれ以上の精度を達成しつつ、低複雑度を維持できるか？
• RQ3 SOSPが生成するプルーニングマスクは、アーキテクチャ的ボトルネックを明らかにできるか？また、それらの層を拡張することで、プルーニング後のネットワーク精度が向上するか？
• RQ4 SOSP-Hは、ResNet-50のような大規模ビジョンモデルにおいて、SOSP-Iおよび他のSOTAプルーニング手法と比較して、スケーラビリティと効率性において優れているか？
• RQ5 近似法と正確法を用いたパラメータ数およびMAC数のカウント方法の違いが、報告されるプルーニング比と性能評価にどの程度影響を及えるか？

主な発見

• SOSP-Hは、1次手法に匹敵する複雑さのおかげで計算コストを低減しつつ、SOTAのプルーニング手法と同等またはそれ以上の精度を達成する。
• SOSP-Hは、ResNet-50のような大規模モデルに対しても効果的にスケーリング可能であり、すべての層にわたる完全なヘシアンの考慮を伴うグローバルな構造的プルーニングを可能にする。
• 顕著度スコアが著しく低い層が、不均衡なプルーニング比として特定され、それらの層を拡張することで精度が向上することが、SOSPにより成功裏に同定された。
• ImageNetとResNet-50を用いた実験では、SOSP-Iは15%のMACプルーニング比を報告しているが、近似カウント法では27%の比が得られ、正確な測定の重要性が浮き彫りになる。
• 本研究で用いられた正確なパラメータ数およびMAC数のカウント法は、先行研究で一般的に用いられる近似法よりも、より保守的かつ信頼性の高い効率推定を提供する。
• SOSP-HはSOSP-Iに比べ、スケーラビリティと効率性において優れていることが示され、ヘシアン・ベクタ積に基づく近似がガウス・ニュートン法を上回る利点を示している。