[論文レビュー] DepGraph: Towards Any Structural Pruning

Gongfan Fang, Xinyin Ma+3 more|arXiv (Cornell University)|Jan 30, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）、変換器（Transformers）、再帰ニューラルネットワーク（RNN）、グラフニューラルネットワーク（GNN）を含む多様なニューラルネットワークアーキテクチャにわたる構造的プルーニングを一般化し、完全自動で実行するための一般的手法であるDepGraphを提案する。この手法は、依存性グラフを用いて層間の依存関係をモデル化し、関連する層を同時に一貫してプルーニングすることを可能にする。グラフ構造に基づくグループ化における単純なノルム基準を用いることで、アーキテクチャに特化した設計を必要とせず、複数のベンチマークで最先端または競争力のある性能を達成する。

ABSTRACT

Structural pruning enables model acceleration by removing structurally-grouped parameters from neural networks. However, the parameter-grouping patterns vary widely across different models, making architecture-specific pruners, which rely on manually-designed grouping schemes, non-generalizable to new architectures. In this work, we study a highly-challenging yet barely-explored task, any structural pruning, to tackle general structural pruning of arbitrary architecture like CNNs, RNNs, GNNs and Transformers. The most prominent obstacle towards this goal lies in the structural coupling, which not only forces different layers to be pruned simultaneously, but also expects all removed parameters to be consistently unimportant, thereby avoiding structural issues and significant performance degradation after pruning. To address this problem, we propose a general and {fully automatic} method, \emph{Dependency Graph} (DepGraph), to explicitly model the dependency between layers and comprehensively group coupled parameters for pruning. In this work, we extensively evaluate our method on several architectures and tasks, including ResNe(X)t, DenseNet, MobileNet and Vision transformer for images, GAT for graph, DGCNN for 3D point cloud, alongside LSTM for language, and demonstrate that, even with a simple norm-based criterion, the proposed method consistently yields gratifying performances.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）、変換器（Transformers）、再帰ニューラルネットワーク（RNN）、グラフニューラルネットワーク（GNN）を含む多様なニューラルネットワークアーキテクチャにわたる構造的プルーニングの一般化に取り組むこと。
• 移行性に欠けるアーキテクチャに特化した手動設計のプルーニング手法の限界を克服すること。
• アーキテクチャ制約に起因して、1つの層をプルーニングする必要がある他の層との構造的結合関係を、統一されたフレームワークでモデル化すること。
• 関連する層のグループ全体の重要度を評価するグループレベルの重要度基準を設計し、結合層における一貫性のある不重要度を確保し、性能劣化を最小限に抑えること。
• タスク固有またはネットワーク固有のチューニングを必要としない、完全自動でアーキテクチャに依存しない構造的プルーニングを可能にすること。

提案手法

• ニューラルネットワークのすべての層間の依存関係を明示的にモデル化する依存性グラフ（DepGraph）を構築し、スキップ接続やバッチ正則化などの構造的結合を捉える。
• 依存性グラフ内の最大連結成分を特定するためにグラフ走査を実行し、同時にプルーニングすべき層のグループを定義する。
• 依存性グラフからグループ行列を導出し、各層がどの結合グループに属するかをマッピングすることで、プルーニング中に構造的一致性を保証する。
• 各グループ内のパラメータの集団的 importance を評価するグループレベルの重要度基準を設計し、結合層における一貫性のあるスパarsityを実現する。
• 各グループに対して単純なノルムに基づく重要度スコアを適用し、複雑な訓練やアーキテクチャ特化の指標に依存しない。
• 全グループのパラメータを同時に削除することで構造的プルーニングを実行し、ネットワークの整合性を保ちながら効率的な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの事前知識が一切ない状態で、多様なニューラルネットワークアーキテクチャにわたる一般化された構造的プルーニング手法を開発できるか？
• RQ2 複雑なアーキテクチャ（例：残差ブロック、アテンション機構）における層間依存関係を、安全で同時にプルーニング可能な形で体系的にモデリングできるか？
• RQ3 グループレベルの重要度基準は、層単位の基準よりも、構造的プルーニングにおけるモデル精度の維持において優れているか？
• RQ4 依存性モデリングと組み合わせた単純なノルム基準が、複雑な基準を用いた最先端手法と同等の性能を達成できるか、その程度はどの程度か？
• RQ5 提案手法は、CNN以外のアーキテクチャ、たとえば変換器（Transformers）、RNN、GNN、3次元点群やグラフ向けのモデルに対しても一般化可能か？

主な発見

• CIFAR-10でResNet-56に対して2.57倍の高速化を達成し、93.64%の精度を維持した。これは、プルーニングを行わないモデル（93.53%）を上回る性能である。
• ImageNet-1kでは、ResNeXt-50で71.87%のトップ-1精度を達成し、精度低下は1.14%にとどまり、精度保持の観点で先行手法を上回った。
• ビジョン変換器（ViT-B/16）では、DepGraph+EMAが81.07%のトップ-1精度を維持し、精度低下は1.39%にとどまり、10.4倍の高速化を達成した。
• 画像以外のタスクでは、3次元点群分類のDGCNNに対して11.98倍の高速化を達成し、精度低下は0.08%にとどまり、優れた一般化性能を示した。
• グラフ学習（PPI）では、8.43倍の高速化を達成し、マイクロ-F1スコアの低下は0.025にとどまり、GNNへの有効性を示した。
• この手法はアーキテクチャを問わず良好に一般化される：LSTM（AGNews）、DGCNN（ModelNet40）、GAT（PPI）においても、基本的なノルム基準を用いて競争力ある結果を達成した。