[논문 리뷰] Learning Filter Basis for Convolutional Neural Network Compression

Yawei Li, Shuhang Gu외 2명|arXiv (Cornell University)|2019. 08. 23.

Advanced Image Processing Techniques참고 문헌 54인용 수 7

한 줄 요약

이 논문은 깊이 학습된 컨볼루션 신경망(CNN) 압축을 위한 새로운 필터 기저 학습 방법을 제안한다. 이 방법은 입력 채널 차원을 따라 3차원 컨볼루션 필터를 학습 가능한 기저 성분으로 분해함으로써 효율적인 파rameter 감소를 가능하게 하면서도 정확도를 유지한다. 이 방법은 이미지 분류 및 초해상도 성능 기준에서 최신 기술(SOTA)을 초월하는 압축 성능을 달성한다. 특히 파라미터 효율성과 정확도 유지 측면에서 기존의 필터 분해 기법들을 능가한다.

ABSTRACT

Convolutional neural networks (CNNs) based solutions have achieved state-of-the-art performances for many computer vision tasks, including classification and super-resolution of images. Usually the success of these methods comes with a cost of millions of parameters due to stacking deep convolutional layers. Moreover, quite a large number of filters are also used for a single convolutional layer, which exaggerates the parameter burden of current methods. Thus, in this paper, we try to reduce the number of parameters of CNNs by learning a basis of the filters in convolutional layers. For the forward pass, the learned basis is used to approximate the original filters and then used as parameters for the convolutional layers. We validate our proposed solution for multiple CNN architectures on image classification and image super-resolution benchmarks and compare favorably to the existing state-of-the-art in terms of reduction of parameters and preservation of accuracy.

연구 동기 및 목표

• 깊은 CNN에서 높은 파라미터 수, 특히 출력 채널 수가 적은 좁은 네트워크에서의 문제를 해결하기 위해.
• 기존의 필터 분해 기법들이 입력 채널 파라미터를 감소시키지 못하거나 1×1 컨볼루션에 일반화되지 않는 한계를 극복하기 위해.
• 분해된 컨볼루션 간의 파라미터 분포를 균형 있게 유지하는 통합적이고 세밀한 압축 프레임워크를 개발하기 위해.
• 고수준(예: 분류) 및 저수준(예: 초해상도) 비전 작업 모두에 대해 효율적이고 정확한 압축을 가능하게 하기 위해.

제안 방법

• 이 방법은 3차원 컨볼루션 필터를 입력 채널 차원을 따라 더 작은 2차원 성분들로 분할하고, 각 성분을 기본 요소로 간주한다.
• 이 성분들의 집합을 공유되는 학습 가능한 기저 집합의 선형 조합으로 모델링한다.
• 기저와 계수(선형 조합)는 엔드 투 엔드 백프로파게이션을 통해 동시에 최적화된다.
• 추론 과정에서는 기저가 재구성되어 원래의 3차원 필터를 복원하며, 이로 인해 파라미터 수가 감소한 채로 효율적인 전방 전파가 가능해진다.
• 이 방법은 1×1 컨볼루션에도 자연스럽게 일반화되며, DenseNet 및 EDSR와 같은 현대 아키텍처에서 흔히 사용되는 레이어에 적합하다.
• 이 방법은 기존 네트워크와 호환되며, 아키텍처 변경 없이 최신 기술 모델에 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 학습 가능한 기저 집합이 필터 성분을 효과적으로 표현하면서도 파라미터 수를 줄일 수 있는가?
• RQ2 제안된 기저 학습 방법이 기존의 필터 분해 기법들과 비교해 압축 비율과 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 이 방법은 출력 채널 수가 적은 좁은 네트워크와 1×1 컨볼루션에 일반화될 수 있는가?
• RQ4 이 방법은 초해상도와 같은 저수준 비전 작업에서 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 기저 크기, 분할 수, 모델 정확도 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• VGG-16에서 제안된 방법은 원래 FLOPs의 23.5%만을 사용하면서도 상위 1위 오차율 6.23%를 달성하여, 동일한 FLOPs 감소 조건에서 모든 베이스라인을 능가하는 정확도를 확보했다.
• DenseNet-12-40에서 이 방법은 331,000개의 파라미터로 5.32%의 최저 오차율을 기록하여 KSE 및 Factor보다 정확도와 압축 비율 양면에서 모두 뛰어난 성능을 보였다.
• ResNet-56에서 이 방법은 FLOPs를 50% 감소시켰을 때도 상위 1위 오차율 6.08%를 달성하여, 동일한 계산 예산 조건에서 KSE 및 기타 방법들을 크게 앞서갔다.
• 이 방법은 모델 크기를 SRResNet 수준으로 줄였지만, 초해상도 작업에서 SRResNet보다 더 높은 정확도를 유지했다.
• 이 방법은 1×1 컨볼루션에도 잘 일반화되어, 필터 레이어에 크게 의존하는 DenseNet 및 EDSR와 같은 네트워크에서 효과적인 압축을 가능하게 했다.
• 제거 실험 결과, DenseBlocks와 전이 레이어 간의 압축 균형을 맞추는 것이(예: s=6 및 s=12 분할 사용) 단일 구성 요소에서의 과도한 압축보다 더 높은 정확도를 제공하는 것으로 나타났다.