[논문 리뷰] Multi-Objective Pruning for CNNs Using Genetic Algorithm

Chuanguang Yang, Zhulin An외 3명|arXiv (Cornell University)|2019. 06. 02.

Advanced Neural Network Applications참고 문헌 9인용 수 4

한 줄 요약

이 논문은 정확도, 계산 효율성, 모델 희박성의 다중 목표를 동시에 최적화하여 컨volutional 신경망(CNNs)을 압축하기 위한 다중 목표 유전 알고리즘(GA)을 제안한다. 가중치를 적용한 적합도 함수와 재학습을 통한 반복적 압축을 통해 LeNet/MNIST에서 정확도 손실이 최소화된 상태로 95.42%의 파라미터 감소와 16배의 계산 속도 향상을 달성하였으며, 계산 감소 측면에서 최신 기술을 초월한다. 하이퍼파라미터 조정을 통해 사용자 맞춤형 압축 결과를 제공한다.

ABSTRACT

In this work, we propose a heuristic genetic algorithm (GA) for pruning convolutional neural networks (CNNs) according to the multi-objective trade-off among error, computation and sparsity. In our experiments, we apply our approach to prune pre-trained LeNet across the MNIST dataset, which reduces 95.42% parameter size and achieves 16$ imes$ speedups of convolutional layer computation with tiny accuracy loss by laying emphasis on sparsity and computation, respectively. Our empirical study suggests that GA is an alternative pruning approach for obtaining a competitive compression performance. Additionally, compared with state-of-the-art approaches, GA is capable of automatically pruning CNNs based on the multi-objective importance by a pre-defined fitness function.

연구 동기 및 목표

• 실세계 비전 응용에서 다중 목표 간 상충 관계를 고려하지 않는 기존 압축 방법의 한계를 해결하기 위해.
• 오차율, 계산 비용(FLOPs), 모델 희박성을 동시에 최적화하는 압축 프레임워크를 개발하기 위해.
• 가변적인 적합도 함수를 통해 이러한 목표의 상대적 중요도를 조정함으로써 사용자 정의 가능한 압축 결과를 가능하게 하기 위해.
• 특히 유전 알고리즘을 활용한 진화 계산 기법이 구조적 다중 목표 CNN 압축에 효과적으로 적용될 수 있음을 입증하기 위해.
• 압축, 재학습, 인구 재초기화를 통합한 이중 단계 반복 프레임워크를 제안하여 수렴성과 성능 향상을 도모하기 위해.

제안 방법

• 이 방법은 M개의 파라미터 유전자를 가진 게놈으로 CNN을 표현하며, 각 유전자는 레이어의 가중치를 나타낸다 (CONV의 경우 4차원 텐서, FC의 경우 2차원).
• 적합도 함수 f = λ₁e + λ₂c + λ₃(1−s) 를 최소화하며, 여기서 e는 오차율, c는 계산 잔류 비율, s는 희박성, λ₁, λ₂, λ₃는 총합이 1이 되는 조정 가능한 가중치이다.
• 알고리즘은 이중 단계 반복 프로세스를 사용한다: (1) 압축된 네트워크 인구 집단에 대해 유전적 연산(선택, 교차, 변이)을 수행하고, (2) 최상의 네트워크를 재학습한 후, 이를 기반으로 인구 집단을 재초기화한다.
• 변이는 CONV 레이어에서는 필터 수준(粗 granularity)으로, FC 레이어에서는 연결 수준(細 granularity)으로 수행되며, 변이율 P_mc 와 P_mf 를 기반으로 유도된다.
• 교차는 마이크로바이러스 교차 방식을 사용한다: 더 높은 적합도를 가진 게놈(승자)이 더 낮은 적합도를 가진 게놈(패자)에게 50% 확률로 유전자를 전달하여 최상의 해를 유지한다.
• 선택은 절단 선택(Truncation selection)을 사용하여 가장 낮은 적합도를 가진 상위 K개의 게놈을 선별하여 재생산에 활용함으로써 수렴 속도를 보장한다.

실험 결과

연구 질문

• RQ1 유전 알고리즘이 CNN 압축에서 정확도, 계산 비용, 희박성의 상충되는 다중 목표를 효과적으로 균형 잡을 수 있는가?
• RQ2 조정 가능한 가중치를 가진 제안된 다중 목표 적합도 함수는 다양한 배포 환경에 맞는 사용자 정의 가능한 압축 결과를 어떻게 가능하게 하는가?
• RQ3 압축과 재학습을 반복하는 이중 단계 프레임워크는 단일 스텝 또는 재학습 없이 수행하는 방법에 비해 수렴성과 성능을 향상시키는가?
• RQ4 CONV 레이어에서는 거친 수준의 압축, FC 레이어에서는 세밀한 수준의 압축을 동시에 적용함으로써 정확도 손실 없이 고도의 희박성과 FLOP 감소를 달성할 수 있는가?
• RQ5 제안된 GA 기반 압축 방법은 희박성, 계산 감소, 정확도 안정성 측면에서 최신 기술에 비해 어떤 성능을 보이는가?

주요 결과

• 제안된 GA는 LeNet/MNIST에서 95.42%의 파라미터 감소와 16배의 계산 속도 향상을 달성하였으며, 오차율은 0.89%에 머무르며 정확도 손실이 최소화되었다.
• λ₁=0.5, λ₂=0, λ₃=0.5로 설정했을 때, 최대 희박성(95.42%)을 달성하면서도 9.00%의 FLOPs 잔류율을 유지하여 강력한 계산 감소 효과를 보였다.
• λ₁=0.5, λ₂=0.5, λ₃=0으로 설정했을 때, 계산 감소를 우선시하여 6.10%의 FLOPs 잔류율을 달성하였으며, 이는 이와 같은 지표에서 다른 방법들보다 뛰어난 성능을 보였다.
• 균형 잡힌 목표 설정(λ₁=0.3, λ₂=0.4, λ₃=0.3) 하에서 94.30%의 희박성과 6.22%의 FLOPs 잔류율을 달성하였으며, 계산 효율성 측면에서 대부분의 베이스라인을 능가했다.
• 이 방법은 사용자 맞춤형 압축을 가능하게 하여, λ₁, λ₂, λ₃를 조정함으로써 정확도, 속도, 모델 크기 중 필요에 따라 우선순위를 설정할 수 있다.
• 최신 기술 대비 GA 기반 접근법은 항상 최고의 희박성을 달성하지는 않지만, 계산 감소 측면에서 뛰어난 성능을 보이며, FLOP 감소를 위한 거친 수준의 압축 전략의 효과성을 입증했다.