[論文レビュー] Structured Pruning for Deep Convolutional Neural Networks: A survey

Yang He, Lingao Xiao|arXiv (Cornell University)|Mar 1, 2023

Advanced Neural Network Applications参考文献 287被引用数 7

ひとこと要約

この論文は深層CNNの構造化剪定法を調査し、フィルタのランク付け、正則化、動的実行、NAS、関連拡張によってアプローチを整理し、今後の方向性を議論する。

ABSTRACT

The remarkable performance of deep Convolutional neural networks (CNNs) is generally attributed to their deeper and wider architectures, which can come with significant computational costs. Pruning neural networks has thus gained interest since it effectively lowers storage and computational costs. In contrast to weight pruning, which results in unstructured models, structured pruning provides the benefit of realistic acceleration by producing models that are friendly to hardware implementation. The special requirements of structured pruning have led to the discovery of numerous new challenges and the development of innovative solutions. This article surveys the recent progress towards structured pruning of deep CNNs. We summarize and compare the state-of-the-art structured pruning techniques with respect to filter ranking methods, regularization methods, dynamic execution, neural architecture search, the lottery ticket hypothesis, and the applications of pruning. While discussing structured pruning algorithms, we briefly introduce the unstructured pruning counterpart to emphasize their differences. Furthermore, we provide insights into potential research opportunities in the field of structured pruning. A curated list of neural network pruning papers can be found at https://github.com/he-y/Awesome-Pruning . A dedicated website offering a more interactive comparison of structured pruning methods can be found at: https://huggingface.co/spaces/he-yang/Structured-Pruning-Survey .

研究の動機と目的

• 構造化剪定が resource-limited なハードウェア上でCNNをデプロイするために不可欠である理由を説明する。
• ランク付け指標、正則化、ダイナミクス、ニューラルアーキテクチャ検索などの主要な次元に沿って、既存の構造化剪定手法を分類・比較する。
• 非構造化剪定との関連性を強調し、構造化剪定における実践上の考慮事項と将来の機会を議論する。

提案手法

• ターゲットとなるフィルタ予算を満たすよう損失を最小化する正式な剪定目的を定義する。
• 重み依存型、活性化依存型、正則化ベース、最適化ベースのアプローチ、動的および NAS にインスパイアされた手法を含む構造化剪定法の分類を提示する。
• BNを用いたゲーティングや追加パラメータゲート手法を用いて構造的スパーシティを誘導する。
• 複数の小節（2.1–2.7）にわたって代表的な手法とそのコアアイデアを要約する。
• 構造化剪定の将来方向と潜在的研究機会についての洞察を提供する（セクション3）。

実験結果

リサーチクエスチョン

• RQ1 構造化剪定の下でフィルタをランク付け・選択する際の効果的な基準は何か。
• RQ2 正則化と最適化技術をどのように用いて精度を保ちつつ構造的スパース性を誘導できるか。
• RQ3 動的剪定と NAS ベースの戦略は実用的な CNN 圧縮にどのように寄与するか。
• RQ4 変化するアーキテクチャ（Transformer など）を踏まえた構造化剪定の将来方向は何か。
• RQ5 構造化剪定と非構造化剪定をハードウェアの効率性と実用性の観点で比較するとどうなるか。

主な発見

• 調査は200件以上の構造化剪定論文を統合し、手法の統一的分類を提供する。
• 構造化剪定は重み依存型、活性化依存型、正則化ベース、最適化ベース、動的、NAS風の手法によって実現可能である。
• BNベースのゲーティングと追加パラメータゲートは、チャンネルまたはフィルタレベルのスパース性を予算に合わせて誘導するのに有効である。
• 訓練中または推論時の動的剪定は、圧縮下での精度維持に追加の柔軟性を提供する。
• 剪定の拡張には Lottery Ticket に着想を得たアイデア、共同圧縮、ハードウェアとタスクのニーズに合わせた特別な粒度戦略が含まれる。