[논문 리뷰] Towards Evolutional Compression

Yunhe Wang, Chang Xu외 3명|arXiv (Cornell University)|2017. 07. 25.

Advanced Neural Network Applications참고 문헌 20인용 수 12

한 줄 요약

이 논문은 유전 알고리즘을 사용하여 컨볼루션 네트워크의 중복된 컨볼루션 필터를 자동으로 식별하고 제거하는 진화적 압축 방법을 제안한다. 각 압축된 네트워크를 인구집단 내의 이진 개체로 간주함으로써, 이 방법은 성능을 유지하면서도 ImageNet 및 CIFAR-10과 같은 벤치마크 데이터셋에서 높은 압축 비율과 속도 향상을 달성하는 컴act하고 정확한 모델을 진화시킨다.

ABSTRACT

Compressing convolutional neural networks (CNNs) is essential for transferring the success of CNNs to a wide variety of applications to mobile devices. In contrast to directly recognizing subtle weights or filters as redundant in a given CNN, this paper presents an evolutionary method to automatically eliminate redundant convolution filters. We represent each compressed network as a binary individual of specific fitness. Then, the population is upgraded at each evolutionary iteration using genetic operations. As a result, an extremely compact CNN is generated using the fittest individual. In this approach, either large or small convolution filters can be redundant, and filters in the compressed network are more distinct. In addition, since the number of filters in each convolutional layer is reduced, the number of filter channels and the size of feature maps are also decreased, naturally improving both the compression and speed-up ratios. Experiments on benchmark deep CNN models suggest the superiority of the proposed algorithm over the state-of-the-art compression methods.

연구 동기 및 목표

• 제한된 계산 및 메모리 자원을 가진 모바일 및 엣지 디바이스에 대규모 딥 CNN을 구현하는 데 도전하는 문제를 해결한다.
• 작은 가중치나 낮은 랭크 필터와 같은 고정된 가정에 의존하는 기존의 압축 방법의 한계를 극복한다.
• 기존의 가정을 초월하여 다양한 유형의 중복성을 탐지할 수 있는 자동화되고 적응 가능한 접근법을 개발한다.
• 모델 정확도를 훼손하지 않으면서도 높은 압축 비율과 속도 향상을 달성하여 모바일 플랫폼에 직접 배포할 수 있도록 한다.
• 압축된 네트워크가 전용 디코딩 또는 추론 엔진이 필요 없는 표준 배포 가능한 CNN으로 남아 있도록 보장한다.

제안 방법

• 각 압축된 CNN을 이진 개체로 표현하며, 각 비트는 컨볼루션 필터의 존재 또는 부재를 인코딩한다.
• 네트워크 압축을 이진 최적화 문제로 설정하며, 적합도는 모델 정확도와 컴act함으로 정의한다.
• 세대 간에 교차 및 변이와 같은 유전 연산을 적용하여 더 유능하고 컴act한 아키텍처로 개체 집단을 진화시킨다.
• 적합도 평가 중 빠른 피니팅을 위해 훈련 데이터의 소량을 사용함으로써 효율적인 진화적 탐색을 가능하게 한다.
• 큰 필터와 작은 필터, 고주파 성분이 모두 중복될 수 있음을 활용하여 더 넓은 범위의 중복성 탐지가 가능하다.
• 필터 수 뿐 아니라 특징 맵 채널 수도 줄여, 층 간에 누적되는 압축 이점을 이룬다.

실험 결과

연구 질문

• RQ1 유전 알고리즘이 기존의 가정을 초월하여 컨볼루션 필터의 다양한 유형의 중복성을 자동으로 탐지하고 제거할 수 있는가?
• RQ2 모델 크기와 추론 속도 측면에서 진화적 탐색이 수작업 또는 히ュ리스틱 기반의 압축 방법을 얼마나 뛰어나게 하는가?
• RQ3 제안된 방법이 표준 벤치마크에서 높은 압축 비율을 달성하면서도 분류 정확도를 유지하는가?
• RQ4 특징 맵과 필터 채널의 압축은 모바일 배포에서 전체 효율성 향상에 어떻게 기여하는가?
• RQ5 최종적으로 압축된 네트워크가 전용 추론 하드웨어나 디코딩이 필요 없는 표준 배포 가능한 CNN으로 남아 있는가?

주요 결과

• 제안된 방법은 ResNet-50에서 8.81×, VGGNet-16에서 11.38×의 압축 비율을 달성했으며, 여러 층에서 30× 이상의 속도 향상을 보였다.
• 압축된 네트워크는 원본 모델과 유사한 정확도를 유지했으며, 소량의 데이터 세트를 사용한 피니팅으로 빠른 수렴이 가능했다.
• VGGNet-16에서 특징 맵의 압축 비율은 최대 2.54×에 달했으며, 이는 모델 가중치 외에도 활성화 메모리 사용을 줄임을 보여주었다.
• 8비트 양자화와 조합할 경우 ResNet-50의 압축 비율은 약 16×로 증가했으며, 기준 방법보다 뚜렷이 뛰어났다.
• 최종적으로 압축된 모델은 정규 CNN 그대로 유지되어 전용 디코딩이나 하드웨어 지원 없이도 모바일 디바이스에 직접 배포할 수 있었다.
• 진화적 접근은 큰 필터와 작은 필터, 고주파 성분 모두가 중복될 수 있음을 발견하여, 기존의 필터 중요성에 대한 전통적 가정을 도전했다.