[논문 리뷰] Compressing complex convolutional neural network based on an improved deep compression algorithm

Jiasong Wu, Hongshan Ren외 4명|arXiv (Cornell University)|2019. 03. 06.

Advanced Neural Network Applications참고 문헌 22인용 수 5

한 줄 요약

이 논문은 복소수값 합성곱 신경망(Complex CNNs)을 위한 향상된 딥 압축 알고리즘을 제안하며, 기존 실수 영역의 압축 기법을 복소수 영역으로 확장한다. ImageNet에서 최대 16× 모델 압축을 달성하면서 약 2% 이내의 정확도 손실을 기록하였고, CIFAR-10에서는 8× 압축을 통해 3% 미만의 정확도 손실을 기록하였다. 재학습 없이도 성능을 유지하며, Complex CNNs의 압축 가능성이 입증되었다.

ABSTRACT

Although convolutional neural network (CNN) has made great progress, large redundant parameters restrict its deployment on embedded devices, especially mobile devices. The recent compression works are focused on real-value convolutional neural network (Real CNN), however, to our knowledge, there is no attempt for the compression of complex-value convolutional neural network (Complex CNN). Compared with the real-valued network, the complex-value neural network is easier to optimize, generalize, and has better learning potential. This paper extends the commonly used deep compression algorithm from real domain to complex domain and proposes an improved deep compression algorithm for the compression of Complex CNN. The proposed algorithm compresses the network about 8 times on CIFAR-10 dataset with less than 3% accuracy loss. On the ImageNet dataset, our method compresses the model about 16 times and the accuracy loss is about 2% without retraining.

연구 동기 및 목표

• 복소수값 합성곱 신경망(Complex CNNs)을 위한 압축 기법의 부족을 해결하기 위해, 이는 우수한 최적화 및 일반화 성능를 지님.
• 기존에 널리 사용되는 딥 압축 프레임워크를 실수 영역에서 복소수 영역으로 확장하기 위해.
• 자원 제약이 있는 임베디드 및 모바일 장치에서 Complex CNNs를 효율적으로 배포하기 위해 모델 크기와 파라미터 중복을 줄이기 위해.
• 압축 과정 중에 높은 모델 정확도를 유지하여 정밀 조정 또는 재학습의 필요성을 최소화하거나 제거하기 위해.

제안 방법

• 복소수 가중치의 크기와 위상 성분을 적응시켜 실수 영역에서의 세 단계 딥 압축 파이프라인(자르기, 훈련된 양자화, 엔트로피 코딩)을 복소수 영역으로 확장.
• 네트워크 구조를 유지하면서 크기 임계값 기반으로 덜 중요한 복소수 필터를 구조적 자르기를 통해 제거.
• 공유된 양자화 체계를 사용하여 복소수 가중치의 실수부와 허수부를 함께 압축하는 양자화 전략을 구현.
• 통계적 중복성을 활용하여 양자화된 복소수 가중치에 대해 엔트로피 코딩을 적용하여 모델 크기를 추가로 감소.
• 압축 중 성능 유지를 위해 새로운 초기화 및 훈련 전략을 도입하여 정확도 저하를 최소화.
• 네트워크 용량과 일반화 능력을 유지하면서도, 복소수 텐서를 처리할 수 있도록 표준 압축 파이프라인을 조정.

실험 결과

연구 질문

• RQ1 딥 압축 프레임워크는 실수값 신경망에서 복소수값 신경망으로 효과적으로 확장될 수 있는가?
• RQ2 유사한 압축 비율에서 복소수값 네트워크의 압축 성능는 실수값 네트워크와 비교해 어떻게 되는가?
• RQ3 특히 재학습 없이 복소수값 CNNs는 얼마나 압축할 수 있으며, 정확도 손실가 최소화되는가?
• RQ4 성능 유지를 위해 자르기, 양자화, 엔트로피 코딩에 어떤 수정이 필요할까?

주요 결과

• 제안된 방법은 재학습 없이 CIFAR-10 데이터셋에서 약 8× 압축을 달성하면서 3% 이내의 정확도 손실을 기록하였다.
• ImageNet 데이터셋에서는 모델이 약 16×로 압축되었고, 정확도 저하가 약 2% 수준이었으며, 재학습이 필요하지 않았다.
• 복소수 가중치의 본질적 구조적 이점 덕분에, 복소수 CNN에 적용했을 때 기존 실수값 압축 방법보다 압축 효율성이 뚜렷이 높았다.
• 압축 후에도 복소수 CNN의 높은 일반화 및 최적화 잠재력이 유지되어, 그 우수성과 견고성이 확인되었다.
• 딥 압축 기법을 복소수 영역으로 확장하는 것은 실현 가능하며 효과적이며, 모바일 및 임베디드 플랫폼에서 복소수 CNN의 배포를 가능하게 한다.