[論文レビュー] What is the State of Neural Network Pruning?

Davis Blalock, Jose Javier Gonzalez Ortiz+2 more|arXiv (Cornell University)|Mar 6, 2020

Advanced Neural Network Applications参考文献 57被引用数 78

ひとこと要約

81件の論文にわたるニューラルネットワーク剪定のメタ分析は、ベンチマークの断片化が深刻であることを明らかにし、剪定手法の標準化評価と公正な比較を可能にする ShrinkBench を提案します。

ABSTRACT

Neural network pruning---the task of reducing the size of a network by removing parameters---has been the subject of a great deal of work in recent years. We provide a meta-analysis of the literature, including an overview of approaches to pruning and consistent findings in the literature. After aggregating results across 81 papers and pruning hundreds of models in controlled conditions, our clearest finding is that the community suffers from a lack of standardized benchmarks and metrics. This deficiency is substantial enough that it is hard to compare pruning techniques to one another or determine how much progress the field has made over the past three decades. To address this situation, we identify issues with current practices, suggest concrete remedies, and introduce ShrinkBench, an open-source framework to facilitate standardized evaluations of pruning methods. We use ShrinkBench to compare various pruning techniques and show that its comprehensive evaluation can prevent common pitfalls when comparing pruning methods.

研究の動機と目的

• 実用的な教訓と共通の落とし穴を特定するために、ニューラルネットワーク剪定に関する文献を総合する。
• アーキテクチャ、データセット、評価指標を横断して剪定手法の比較を評価する。
• 剪定手法の標準化された公正な評価を可能にするベストプラクティスとツールを推奨する。
• 標準化された剪定研究を支援する具体的なオープンソースフレームワークを提供する。

提案手法

• 81 件の剪定論文の結果を集約し、実践と所見を特徴づける。
• データセット/アーキテクチャの断片化や指標の一貫性欠如など、共通の障害を整理する。
• 剪定手法の標準化された評価フレームワークと指標を定義する。
• ShrinkBench を標準化された剪定評価のためのオープンソースライブラリとして導入する。
• ShrinkBench のベースラインを示し、標準化された評価が解釈の誤りをどう緩和するかを示す。

実験結果

リサーチクエスチョン

• RQ1 最近のニューラルネットワーク剪定論文における共通の実践と結果は何か？
• RQ2 ベンチマークの実践は剪定手法間の公正な比較をどのように妨げるのか？
• RQ3 剪定研究の再現性と比較性を改善する具体的な解決策とツールは何か？
• RQ4 ShrinkBench は標準化された評価と公正な手法比較をどのように促進するのか？

主な発見

• 剪定は精度の損失がほとんどない、あるいは少量の圧縮レベルで精度を改善する場合もあるほどモデルを大幅に圧縮できる。
• 多くの手法がランダム剪定を上回り、パラメータ固定時にはグローバル剪定の方がレイヤー単位剪定より効果的なことが多いが、データセット/アーキテクチャによって結果は異なる。
• 疎なモデルは同じパラメータ数の密なモデルを上回ることがあり、時には元の未剪定モデルをも凌ぐ。
• データセット、アーキテクチャ、指標の断片化が大きく、剪定手法間の直接的で統制された比較を難しくしている。
• 多くの論文は限られたデータセット/アーキテクチャの組み合わせで結果を報告し、オペレーティングポイントが少なく、トレンドの特定を妨げている。
• 初期モデル品質、データ拡張、最適化の選択、剪定スケジュール、ライブラリなどの混乱因子が結果に大きく影響し、公正な比較を複雑にしている。
• ShrinkBench は剪定評価を標準化し、これらの問題を緩和するライブラリとして提案されている。