[논문 리뷰] DepGraph: Towards Any Structural Pruning

Gongfan Fang, Xinyin Ma외 3명|arXiv (Cornell University)|2023. 01. 30.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 CNN, Transformer, RNN, GNN를 포함한 다양한 신경망 아키텍처에서 구조적 프루닝을 일반적이고 완전 자동으로 수행할 수 있도록 DepGraph를 제안한다. DepGraph는 의존성 그래프를 통해 층 간 의존성을 모델링하여 결합된 층들을 동시에 일관되게 프루닝할 수 있도록 한다. 그래프 구조의 그룹화 내에서 단순한 노름 기반 기준을 사용함으로써, 아키텍처에 특화된 설계 없이도 여러 벤치마크에서 최신 기준 또는 경쟁 가능한 성능을 달성한다.

ABSTRACT

Structural pruning enables model acceleration by removing structurally-grouped parameters from neural networks. However, the parameter-grouping patterns vary widely across different models, making architecture-specific pruners, which rely on manually-designed grouping schemes, non-generalizable to new architectures. In this work, we study a highly-challenging yet barely-explored task, any structural pruning, to tackle general structural pruning of arbitrary architecture like CNNs, RNNs, GNNs and Transformers. The most prominent obstacle towards this goal lies in the structural coupling, which not only forces different layers to be pruned simultaneously, but also expects all removed parameters to be consistently unimportant, thereby avoiding structural issues and significant performance degradation after pruning. To address this problem, we propose a general and {fully automatic} method, \emph{Dependency Graph} (DepGraph), to explicitly model the dependency between layers and comprehensively group coupled parameters for pruning. In this work, we extensively evaluate our method on several architectures and tasks, including ResNe(X)t, DenseNet, MobileNet and Vision transformer for images, GAT for graph, DGCNN for 3D point cloud, alongside LSTM for language, and demonstrate that, even with a simple norm-based criterion, the proposed method consistently yields gratifying performances.

연구 동기 및 목표

• CNN, Transformer, RNN, GNN와 같은 다양한 신경망 아키텍처 간에 일반화된 구조적 프루닝을 해결하기 위해.
• 이전에 제안된 아키텍처에 특화된 수작업 기반 프루닝 기법들이 이식성 부족 문제를 해결하기 위해.
• 구조적 제약으로 인해 한 층을 프루닝할 경우 다른 층도 함께 프루닝되어야 하는 층 간의 구조적 결합을 통합된 프레임워크로 모델링하기 위해.
• 결합된 층들 간 일관된 낮은 중요도를 보장하는 그룹 수준의 중요도 기준을 개발하여 성능 저하를 최소화하기 위해.
• 작업 또는 네트워크에 특화된 튜닝 없이도 완전 자동으로 아키텍처에 종속되지 않는 구조적 프루닝을 가능하게 하기 위해.

제안 방법

• 모든 층 간의 상호 의존성을 명시적으로 모델링하는 의존성 그래프(의존성 그래프)를 구축하여, 스케일 연결 및 배치 정규화와 같은 구조적 결합을 포괄한다.
• 의존성 그래프에서 최대 연결 성분을 식별하기 위해 그래프 탐색을 수행하여 함께 프루닝되어야 할 층의 그룹을 정의한다.
• 의존성 그래프에서 그룹 매트릭스를 유도하여 각 층이 어떤 결합 그룹에 속하는지 매핑함으로써, 프루닝 중 구조적 일관성을 유지한다.
• 각 그룹 내 파라미터의 집합적 중요도를 평가할 수 있는 그룹 수준의 중요도 기준을 설계하여, 결합된 층들 간 일관된 스파arsity를 달성한다.
• 각 그룹에 대해 단순한 노름 기반 중요도 점수를 적용하여 복잡한 학습 또는 아키텍처에 특화된 지표에 의존하지 않는다.
• 전체 그룹의 파라미터를 동시에 제거하여 구조적 프루닝을 수행함으로써 네트워크의 무결성을 유지하고 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 아키텍처 사전 지식 없이도 다양한 신경망 아키텍처에서 일반적인 프로그램을 개발할 수 있는가?
• RQ2 복잡한 아키텍처(예: 잔차 블록, 어텐션 메커니즘)에서 층 간 의존성을 체계적으로 모델링하여 안전하고 동시에 프루닝할 수 있는가?
• RQ3 그룹 수준의 중요도 기준이 층 수준 기준보다 모델 정확도 유지에 더 우수한 성능을 보일 수 있는가?
• RQ4 의존성 모델링과 결합된 단순한 노름 기반 기준이, 복잡한 기준을 사용하는 최신 기준 방법과 비교해 유사한 성능을 달성할 수 있는가?
• RQ5 제안된 방법이 CNN 이외의 아키텍처, 예를 들어 Transformer, RNN, GNN, 3D 포인트 클라우드 및 그래프용 모델에 일반화 가능한가?

주요 결과

• CIFAR-10에서 ResNet-56에 대해 DepGraph는 정확도 93.64%를 기록하며 2.57배의 속도 향상을 달성했고, 프루닝되지 않은 모델(93.53%)을 초월했다.
• ImageNet-1k에서 ResNeXt-50에 대해 DepGraph는 Top-1 정확도 71.87%를 기록하며 정확도 저하 1.14%와 2.09배의 속도 향상을 달성했고, 정확도 유지 측면에서 이전 방법들을 능가했다.
• 비전 트랜스포머(ViT-B/16)에 대해 DepGraph+EMA는 Top-1 정확도 81.07%를 유지하며 정확도 저하 1.39% 이내로 10.4배의 속도 향상을 달성했다.
• 비이미지 작업에서는 3D 포인트 클라우드 분류에 대해 DGCNN에서 정확도 저하 0.08% 이내로 11.98배의 속도 향상을 달성하여 강력한 일반화 능력을 입증했다.
• 그래프 학습(PPI)에서는 8.43배의 속도 향상과 마이크로-F1 점수 0.025의 저하를 기록하여 GNN에 대한 효과성을 입증했다.
• 이 방법은 아키텍처 간에 잘 일반화된다: 기본적인 노름 기반 기준을 사용함에도 불구하고 LSTM(AGNews), DGCNN(ModelNet40), GAT(PPI)에서 경쟁 가능한 성능을 달성했다.