[論文レビュー] Methods for Pruning Deep Neural Networks

Sunil Vadera, Salem Ameen|arXiv (Cornell University)|Oct 31, 2020

Advanced Neural Network Applications被引用数 11

ひとこと要約

この論文は、深層ニューラルネットワークの150種類以上の剪定手法を調査し、マグニチュードベースの剪定、クラスタリングベースの冗長性同定、感受性分析ベースのアプローチの3つに分類している。ImageNet や CIFAR-10 といったデータセット上で、AlexNet や ResNet、VGG といったアーキテクチャを対象に比較分析を実施し、特定の手法が最小限の精度低下で高い圧縮を達成できることを示している。研究者が剪定効果を比較するための統一的リファレンスを提供している。

ABSTRACT

This paper presents a survey of methods for pruning deep neural networks. It begins by categorising over 150 studies based on the underlying approach used and then focuses on three categories: methods that use magnitude based pruning, methods that utilise clustering to identify redundancy, and methods that use sensitivity analysis to assess the effect of pruning. Some of the key influencing studies within these categories are presented to highlight the underlying approaches and results achieved. Most studies present results which are distributed in the literature as new architectures, algorithms and data sets have developed with time, making comparison across different studied difficult. The paper therefore provides a resource for the community that can be used to quickly compare the results from many different methods on a variety of data sets, and a range of architectures, including AlexNet, ResNet, DenseNet and VGG. The resource is illustrated by comparing the results published for pruning AlexNet and ResNet50 on ImageNet and ResNet56 and VGG16 on the CIFAR10 data to reveal which pruning methods work well in terms of retaining accuracy whilst achieving good compression rates. The paper concludes by identifying some promising directions for future research.

研究の動機と目的

• 深層ニューラルネットワークの剪定に関する150件以上の研究を、その根幹にある手法に基づいて整理・分類すること。
• 複数のアーキテクチャやデータセット間での剪定結果の比較を容易にするために、研究結果を統合されたリソースにまとめること。
• 顕著な圧縮を達成しながらモデル精度を維持する高効率な剪定手法を同定すること。
• 構造的・非構造的剪定における今後の研究の有望な方向性を特定すること。

提案手法

• マグニチュードベースの剪定、クラスタリングベースの冗長性検出、感受性分析ベースの剪定の3つの主要なタイプに剪定手法を分類すること。
• 各カテゴリ内での主要な研究を体系的にレビュー・分析し、基本的な原則と性能結果を明確にすること。
• 複数のモデル（例：ResNet50、VGG16、ResNet56）とデータセット（ImageNet、CIFAR-10）における公開された剪定結果を統合し、直接比較可能な形でまとめること。
• 感受性分析を用いて、個々の重みやチャネルの剪定がモデル精度に与える影響を評価すること。
• クラスタリング技術を応用して類似する重みをグループ化し、削除可能な冗長パラメータを同定すること。
• トップ-1精度やモデルサイズの削減率といった指標を用いて、標準ベンチマーク上での剪定効果を評価すること。

実験結果

リサーチクエスチョン

• RQ1 異なるアーキテクチャにおいて、モデル圧縮と精度保持の両立を達成する剪定手法はどれか？
• RQ2 マグニチュードベース、クラスタリングベース、感受性分析ベースの剪定アプローチは、性能と一般化能力の観点でどのように比較できるか？
• RQ3 ImageNet や CIFAR-10 における人気モデル（例：ResNet50 や VGG16）に対して、最も効果的な剪定戦略は何か？
• RQ4 異なるネットワークアーキテクチャやデータセットにおいて、剪定結果はどのように変動するか？
• RQ5 深層学習における剪定技術の発展に向け、今後の研究で最も有望な方向性は何か？

主な発見

• マグニチュードベースの剪定手法は、微調整を組み合わせることで、精度の低下を最小限に抑えながら高い圧縮率を安定して達成する。
• クラスタリングベースのアプローチは、冗長パラメータを効果的に同定でき、ハードウェアとの互換性が良い構造的剪定を可能にする。
• 感受性分析により、非重要とされる重みを特定し、精度保持を高めるように集中剪定が可能になる。
• ImageNet では、高度な手法を用いた ResNet50 の剪定により、トップ-1精度が90％以上を維持しながらモデルサイズを50％以上削減できる。
• CIFAR-10 では、最先端の技術を用いることで、VGG16 や ResNet56 を元のサイズの10–20％にまで圧縮でき、精度低下は1％未満に抑えられる。
• 本研究では、複数の剪定戦略を組み合わせたハイブリッドアプローチが、多様なアーキテクチャやデータセットにおいて優れた結果をもたらすことが同定された。