[논문 리뷰] Computation-Performance Optimization of Convolutional Neural Networks with Redundant Kernel Removal

Chih‐Ting Liu, Yiheng Wu외 2명|arXiv (Cornell University)|2017. 05. 30.

Advanced Image Processing Techniques참고 문헌 17인용 수 3

한 줄 요약

이 논문은 깊이 있는 CNN에서 부속적인 컨볼루션 커널을 줄이기 위해 계산 성능 최적화(CPO) 방법 두 가지—층별 보정(LWP)과 기울기 최적화(GO)—를 제안한다. 이는 임베디드 시스템에 효율적으로 구현하기 위한 것이다. 희소성 기반으로 커널을 제거하고 PSNR 또는 계산 제약 조건 하에서 제거 비율을 최적화함으로써, 초해상도 작업에서 최대 50% 모델 압축을 달성하면서도 PSNR 감소가 0.25 dB 이내로 유지된다.

ABSTRACT

Deep Convolutional Neural Networks (CNNs) are widely employed in modern computer vision algorithms, where the input image is convolved iteratively by many kernels to extract the knowledge behind it. However, with the depth of convolutional layers getting deeper and deeper in recent years, the enormous computational complexity makes it difficult to be deployed on embedded systems with limited hardware resources. In this paper, we propose two computation-performance optimization methods to reduce the redundant convolution kernels of a CNN with performance and architecture constraints, and apply it to a network for super resolution (SR). Using PSNR drop compared to the original network as the performance criterion, our method can get the optimal PSNR under a certain computation budget constraint. On the other hand, our method is also capable of minimizing the computation required under a given PSNR drop.

연구 동기 및 목표

• 높은 계산 및 메모리 요구량으로 인해 자원이 제한된 임베디드 시스템에 깊이 있는 CNN을 구현하는 데 직면한 과제를 해결한다.
• 성능 저하 없이 부속적인 컨볼루션 커널을 제거하여 모델 복잡도를 감소시킨다.
• 적응형 커널 제거를 통해 계산 비용과 모델 정확도 사이의 탄력적인 트레이드오���을 가능하게 한다.
• 아키텍처에 특화된 튜닝 없이 다양한 네트워크 아키텍처와 하드웨어 플랫폼에 적용 가능한 방법을 개발한다.
• 희소성 기반의 제거와 회귀 기반 최적화를 사용해 엄격한 계산 또는 정확도 제약 조건 하에서도 최적의 성능을 달성한다.

제안 방법

• 층별 희소성 기반으로 커널 부속성을 정의한다: 한 층 내에서 가중치가 평균 절대값 이하인 커널은 부속적인 것으로 간주한다.
• 층별 보정(LWP)을 적용하여 커널을 희소성 기반으로 정렬하고, 지정된 계산 예산 내에서 가장 부속적인 커널을 제거하여 PSNR 감소를 최소화한다.
• 랜덤 제거 비율에 대해 훈련된 회귀 모델을 사용해 PSNR 감소를 예측하고, 목표 PSNR 제약 조건 하에서 기울기 기반 제거 비율 최적화를 수행한다.
• 예측된 PSNR 감소와 목표 PSNR 감소 간의 평균 제곱 오차 손실을 사용해 감소 요소 벡터 $\mathbf{r}$ 를 경사 하강법으로 최적화한다.
• 아키텍처적 통찰(예: 더 깊은 층에서 커널 유지 우선순위)을 통합하여 최적화된 $\mathbf{r}$ 를 미세 조정한다.
• PSNR 감소를 주요 성능 지표로 사용하여 초해상도 CNN에서 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 부속적인 컨볼루션 커널을 효과적으로 식별하고 제거함으로써 CNN에서 계산 비용을 줄일 수 있는가, 이로 인해 성능 저하가 심각하게 발생하지 않는가?
• RQ2 고정된 계산 예산 하에서 층 간으로 커널 제거를 최적화하면 PSNR 저하를 어떻게 최소화할 수 있는가?
• RQ3 랜덤 제거 비율에 대해 훈련된 학습된 회귀 모델이 PSNR 감소를 정확하게 예측할 수 있는가, 이는 자동 최적화를 가능하게 하는가?
• RQ4 다른 네트워크 층에 걸쳐 제거 비율의 분포가 전체 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 임베디드 플랫폼에서 모델 크기, 추론 속도, 정확도 사이의 균형을 얼마나 잘 유지할 수 있는가?

주요 결과

• LWP는 Set5 ×2에서 0.24 dB, Set14 ×2에서 0.26 dB의 PSNR 감소로 모델 크기를 20층에서 10층으로 50% 감소시켰다.
• 초기 층에서는 제거 비율을 높이고 더 깊은 층에서는 줄이는 네트워크 세그먼트별 제거 비율 조정을 통해 PSNR 감소를 0.24 dB로 최소화했다.
• GO는 Set5 ×2에서 0.29 dB, Set14 ×2에서 0.26 dB의 PSNR 감소를 성공적으로 달성하여 목표치와 밀도적으로 일치시켰다.
• 랜덤 제거 비율에 대해 훈련된 회귀 모델을 통해 기울기 기반 최적화를 실현하였고, 미세 조정 후 PSNR 감소가 0.24 dB/0.25 dB로 감소했다.
• 최종 최적화된 제거 정책은 층당 44~60개의 커널을 유지했으며, 유일한 층은 단일 커널로 줄어들어 희소성 인식 기반 압축이 효과적으로 이루어졌음을 보여주었다.
• 이 방법은 탄력적이며 아키텍처에 종속되지 않아, 저수준 하드웨어 튜닝 없이 다양한 임베디드 시스템에 배포가 가능하다.