[논문 리뷰] CPOT: Channel Pruning via Optimal Transport

Yucong Shen, Shen Li외 3명|arXiv (Cornell University)|2020. 05. 21.

Blind Source Separation Techniques참고 문헌 34인용 수 4

한 줄 요약

CPOT는 최적의 운반 이론을 사용하여 깊이 신경망의 중복 필터를 식별하고 제거하는 새로운 채널 프루닝 방법을 제안한다. 이는 채널 특성 분포의 워셔스타인 바리센터를 계산하여 구현된다. 이는 이미지 분류 작업에서 FPGM과 같은 최신 기법들을 능가하며, 성능 저하가 최소화되는 조건에서 StarGAN과 같은 GAN을 효과적으로 압축함으로써 어려운 생성 작업에서 뛰어난 강건성을 입증한다.

ABSTRACT

Recent advances in deep neural networks (DNNs) lead to tremendously growing network parameters, making the deployments of DNNs on platforms with limited resources extremely difficult. Therefore, various pruning methods have been developed to compress the deep network architectures and accelerate the inference process. Most of the existing channel pruning methods discard the less important filters according to well-designed filter ranking criteria. However, due to the limited interpretability of deep learning models, designing an appropriate ranking criterion to distinguish redundant filters is difficult. To address such a challenging issue, we propose a new technique of Channel Pruning via Optimal Transport, dubbed CPOT. Specifically, we locate the Wasserstein barycenter for channels of each layer in the deep models, which is the mean of a set of probability distributions under the optimal transport metric. Then, we prune the redundant information located by Wasserstein barycenters. At last, we empirically demonstrate that, for classification tasks, CPOT outperforms the state-of-the-art methods on pruning ResNet-20, ResNet-32, ResNet-56, and ResNet-110. Furthermore, we show that the proposed CPOT technique is good at compressing the StarGAN models by pruning in the more difficult case of image-to-image translation tasks.

연구 동기 및 목표

• 딥 러닝 모델의 해석 가능성 부족으로 인해 깊이 신경망 내 중복 필터를 식별하는 데 도전하는 것.
• 최적의 운반 이론을 활용하여 채널 분포의 기하학적 구조를 더 잘 포착함으로써 채널 프루닝을 향상시키는 것.
• 분류 모델뿐 아니라 생성 모델까지도 효과적으로 압축할 수 있는 방법을 개발하는 것, 특히 GAN과 같은 어려운 케이스를 포함하여.
• 기존의 노름 기반 및 기하학적 중앙값 기반 기법보다 정확도와 효율성 면에서 뛰어난 성능을 내는 것.
• 자원 제한된 장치에서의 깊이 신경망 효율적 배포를 가능하게 하기 위해 더 효과적인 채널 프루닝을 제공하는 것.

제안 방법

• CPOT는 각 레이어의 모든 채널 특성 분포의 워셔스타인 바리센터를 최적의 운반 이론을 사용하여 계산한다. 이는 워셔스타인 거리 기준으로 분포의 중심을 나타낸다.
• 바리센터와의 워셔스타인 거리가 작은 채널은 중복 정보를 지닌 것으로 식별되어 프루닝된다.
• 이 방법은 계층적으로 작동하며, 프루닝 후에 네트워크를 재구성하여 모델의 무결성과 효율성을 유지한다.
• 최적의 운반 이론을 사용하여 필터의 확률 분포 간 거리를 계산함으로써, 기존의 노름이나 기하학적 중앙값보다 더 나은 기하학적 모델링이 가능하다.
• 이중 최적화 과정에서 반복적으로 적용되며, GAN의 안정성을 유지하기 위해 매 5,000 반복마다 프루닝을 수행한다.
• FID 및 IS 지표를 사용하여 분류 작업(ResNets)과 이미지 간 번역 작업(StarGAN) 모두에서 평가된다.

실험 결과

연구 질문

• RQ1 최적의 운반 기반 채널 프루닝이 기존의 노름 기반 및 기하학적 중앙값 기반 기법보다 모델 압축에서 뛰어난 성능을 보일 수 있는가?
• RQ2 CPOT는 구조적 변화에 민감한 GAN, 예를 들어 StarGAN과 같은 생성 적대 신경망을 효과적으로 압축할 수 있는가?
• RQ3 워셔스타인 바리센터를 사용할 경우 기하학적 중앙값이나 노름 기반 기준보다 더 정확한 중복 정보 표현이 가능한가?
• RQ4 특히 자원이 제한된 환경이나 복잡한 생성 작업에서 고비율 프루닝 상황에서도 CPOT가 성능을 잘 유지하는가?
• RQ5 CPOT는 성능 저하 없이 다양한 아키텍처와 데이터셋에 적용 가능한가?

주요 결과

• CPOT는 이미지 분류 작업에서 ResNet-20, ResNet-32, ResNet-56, ResNet-110에 대해 FPGM 및 기타 최신 기법들을 능가하며, 프루닝 후 더 높은 정확도를 달성한다.
• CelebA 데이터셋에서 5-속성 StarGAN 모델의 30% 채널을 프루닝했을 때 CPOT는 압축된 FID 17.62와 IS 3.04를 유지하며 FPGM를 능가한다.
• 3-속성 StarGAN 모델의 경우 CPOT는 압축된 FID 14.87과 IS 3.04를 달성했으며, IS 점수는 원본 모델의 점수를 초월하기까지 한다.
• CPOT는 대부분의 프루닝 기법이 실패하는 GAN에서 뛰어난 성능을 보이며, 복잡한 비분류 작업에서의 강건성을 입증한다.
• FID 및 IS 지표에서의 성능 저하가 최소화되어 고품질의 이미지 생성이 유지되며, 이는 이미지 간 번역 작업에 효과적임을 증명한다.
• CPOT는 다양한 아키텍처와 작업에 대해 강력한 일반화 능력을 보이며, 높은 구조적 민감도를 가진 모델들까지도 효과적으로 압축한다.