[論文レビュー] A Survey on Deep Neural Network Pruning-Taxonomy, Comparison, Analysis, and Recommendations

Hongrong Cheng, Miao Zhang+1 more|arXiv (Cornell University)|Aug 13, 2023

Advanced Neural Network Applications被引用数 23

ひとこと要約

深層ニューラルネット pruning の包括的な調査で、分類法を提案し、 pruning パラダイム間の比較分析を行い、推奨事項と将来の方向性を提供します。

ABSTRACT

Modern deep neural networks, particularly recent large language models, come with massive model sizes that require significant computational and storage resources. To enable the deployment of modern models on resource-constrained environments and accelerate inference time, researchers have increasingly explored pruning techniques as a popular research direction in neural network compression. However, there is a dearth of up-to-date comprehensive review papers on pruning. To address this issue, in this survey, we provide a comprehensive review of existing research works on deep neural network pruning in a taxonomy of 1) universal/specific speedup, 2) when to prune, 3) how to prune, and 4) fusion of pruning and other compression techniques. We then provide a thorough comparative analysis of eight pairs of contrast settings for pruning and explore emerging topics, including pruning for large language models, large multimodal models, post-training pruning, and different supervision levels for pruning to shed light on the commonalities and differences of existing methods and lay the foundation for further method development. To facilitate future research, we build a curated collection of datasets, networks, and evaluations on different applications. Finally, we provide valuable recommendations on selecting pruning methods and prospect several promising research directions. We build a repository at https://github.com/hrcheng1066/awesome-pruning.

研究の動機と目的

• 速度向上の普遍性、タイミング、および基準または学習ベースの剪定を網羅する深層ニューラルネット pruning の統一的分類法を提供する。
• 非構造化対構造化、ワンショット対反復、データなし対データ駆動、初期化対事前学習済みの7組の剪定設定を比較し、それらの含意を分析する。
• トレーニング前剪定、トレーニング中剪定、トレーニング後剪定、動的実行時剪定をレビューし、実用的なパイプラインを明確化する。
• 実務家を導くために、剪定の応用、データセット、ネットワーク、評価ベンチマークを要約する。
• 手法選択に関する推奨事項を提供し、ニューラルネット pruning 研究の有望な方向性を強調する。

提案手法

• 三つの問いを軸とした分類法を構築する：普遍的な速度向上 vs 特定の速度向上、剪定の時期（トレーニング前/途中/後、静的 vs 動的）、剪定基準 vs 学習主導アプローチ。
• 非構造化、半構造化、構造化剪定の形式的定義と分類を提供し、剪定マスク、レイヤー単位 vs グローバル剪定、動的 vs 静的剪定の概念を含む。
• 過去の研究にわたる代表的な剪定手法と実験設定を分析し、データなし/データ駆動の基準、疎性正則化、および動的スパース訓練のパラダイムを含む。
• 複数の剪定パラダイムにわたる比較分析を総合し、訓練、推論、およびハードウェア適合性への影響を議論する。
• 応用、データセット、ネットワーク、評価リソースを整理し、オープンソースの剪定論文とコードのオンラインリポジトリを維持する。

Figure 1: The number of papers for neural network pruning and compression from 1988-2022.

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネット剪定手法を効果的にカテゴリ化するコアな次元は何か（速度向上の普遍性、タイミング、剪定基準）？
• RQ2 非構造化、半構造化、構造化剪定は、さまざまな訓練パイプラインにおいて性能、ハードウェア適合性、精度の点でどう比較されるか？
• RQ3 トレーニング前/中/後の剪定、静的 vs 動的剪定を含む実用的な意味は何か？
• RQ4 データなし vs データ駆動の剪定と初期化 vs 事前学習済みウェイト剪定を比較したとき、どんな洞察が得られるか？
• RQ5 アプリケーション全体で剪定手法の選択と将来の研究の方向性について、どのような推奨が得られるか？

主な発見

• 剪定は非構造化（重みごと）、半構造化（パターンベース）、構造化（粗粒度）剪定に分類でき、普遍的な速度向上は完全に構造化剪定のみで達成可能である。
• 静的剪定パイプライン（トレーニング前/途中/後）と動的実行時剪定を対比し、それぞれ効率と精度に異なる取引を持つ。
• 剪定基準（例：大きさ、勾配、正則化ベースのスコア）と学習ベース剪定法は異なる利点を提供し、データなしとデータ駆動のアプローチを含む。
• 広範な剪定の応用とベンチマークを要約し、継続的な研究のための剪定論文とコードのリポジトリを提供する。
• 本調査には、実務上の性能と堅牢性の差を明らかにするため、7組の対照設定の比較実験が含まれる。

Figure 2: An overview of the hierarchical structure of the survey.