[논문 리뷰] Compressing Convolutional Neural Networks

Wenlin Chen, James T. Wilson외 3명|arXiv (Cornell University)|2015. 06. 14.

Neural Networks and Applications참고 문헌 29인용 수 32

한 줄 요약

이 논문은 학습된 필터의 주파수 도메인에서의 매끄러움 특성을 활용하여 컨volutional 신경망을 압축하는 새로운 방법인 FreshNets를 제안한다. 필터 가중치에 이산余弦변환(DCT)을 적용하고, 저주파 성분은 고주파 성분보다 더 많은 해시 버킷을 할당하는 주파수 민감도 해시 기법을 사용함으로써, 정확도 손실를 최소화하면서도 높은 압축률에서 뛰어난 압축 효율성을 달성한다. 이는 고압축률에서 기존의 기준 기법들보다 뚜렷한 성능 향상을 보인다.

ABSTRACT

Convolutional neural networks (CNN) are increasingly used in many areas of computer vision. They are particularly attractive because of their ability to "absorb" great quantities of labeled data through millions of parameters. However, as model sizes increase, so do the storage and memory requirements of the classifiers. We present a novel network architecture, Frequency-Sensitive Hashed Nets (FreshNets), which exploits inherent redundancy in both convolutional layers and fully-connected layers of a deep learning model, leading to dramatic savings in memory and storage consumption. Based on the key observation that the weights of learned convolutional filters are typically smooth and low-frequency, we first convert filter weights to the frequency domain with a discrete cosine transform (DCT) and use a low-cost hash function to randomly group frequency parameters into hash buckets. All parameters assigned the same hash bucket share a single value learned with standard back-propagation. To further reduce model size we allocate fewer hash buckets to high-frequency components, which are generally less important. We evaluate FreshNets on eight data sets, and show that it leads to drastically better compressed performance than several relevant baselines.

연구 동기 및 목표

• 모바일 및 임베디드 시스템에서 깊이 있는 CNN의 증가하는 메모리 및 저장 요구량을 해결하기 위해.
• 학습된 컨volutional 필터에 내재된 매끄러움과 저주파 성분 지배 특성을 활용하여 효과적인 압축을 수행하기 위해.
• 압축률이 매우 높은 상황에서도 높은 테스트 정확도를 유지할 수 있는 파rameter-free이며 학습 가능한 압축 방법을 개발하기 위해.
• 저랭크 분해, 가중치 양자화, 공간 도메인 해시와 같은 기존의 압축 기법들을 능가하기 위해.

제안 방법

• 이산余弦변환(DCT)을 사용하여 컨볼루션 필터 가중치를 주파수 도메인으로 변환하기.
• 랜덤 해시 함수를 적용하여 주파수 도메인 계수를 공유 버킷으로 그룹화하고, 공유된 값은 표준 역전파를 통해 학습하기.
• 고주파 성분의 중요도가 낮기 때문에 그에 비해 더 적은 해시 버킷을 할당함으로써 주파수 민감도 압축을 실현하기.
• 역 DCT를 사용하고 해시된 주파수 계수를 활용하여 추론 시 필터를 재구성하기.
• 각 주파수 대역의 압축률을 베타 분포로 매개변수화하여 해시 버킷의 적응적 할당 가능하게 하기.
• 유사한 주파수 성분 간의 가중치 공유에 국한시켜, 필터의 구조적 특성을 유지하기.

실험 결과

연구 질문

• RQ1 주파수 도메인 변환과 해시 기법이 정확도를 유지하면서도 CNN 모델 크기를 크게 줄일 수 있는가?
• RQ2 저주파 성분에 더 많은 해시 버킷을 할당하는 주파수 민감도 해시 기법이, 균일하거나 공간 도메인 해시와 비교해 더 나은 압축 모델 성능을 내는가?
• RQ3 저랭크 분해, 양자화, 특징 해시와 같은 기존의 압축 기준 기법들과 비교했을 때, 제안된 방법은 정확도와 압축률 측면에서 어떻게 성능을 내는가?
• RQ4 압축 과정에서 학습된 필터의 매끄러움과 구조적 특성을 어느 정도 유지하는가?

주요 결과

• FreshNets는 모든 기준 기법보다 뛰어난 압축 모델 성능을 보였으며, 특히 고압축률(예: 1/64 및 1/256)에서 뛰어난 성능을 보였다. 8개의 데이터셋에서 일반화 오차가 가장 낮았다.
• 고주파 성분에 더 적은 버킷을 할당하는 주파수 민감도 해시 기법(그림 4의 파랑 선)이 가장 낮은 테스트 오차를 기록했으며, 균일(빨강) 및 역수(薰청) 기법보다 뛰어났다.
• 필터 시각화 결과, FreshNets는 학습된 필터의 매끄러움을 유지하는 반면, HashedNets는 공간 도메인 가중치 공유로 인해 혼란스럽고 비매끄러운 패턴을 유도한다.
• 극도의 압축률에서도 높은 정확도를 유지했으며, 다양한 압축 수준에서 주파수 무관 기법보다 정규화된 테스트 오차가 1.2~1.5배 낮았다.
• 핵심적인 이점은 이미지 표현에 핵심적인 저주파 성분을 유지하면서도, 중요도가 낮은 고주파 영역에서는 더 높은 압축률을 허용할 수 있다는 점이다.