[논문 리뷰] SpecNet: Spectral Domain Convolutional Neural Network

Bochen Guan, Jinnian Zhang외 3명|arXiv (Cornell University)|2019. 05. 27.

Advanced Neural Network Applications참고 문헌 41인용 수 8

한 줄 요약

SpecNet은 FFT 기반 연산과 설정 가능한 임계값을 통한 희소성로 스펙트럼 도메인에서 컨볼루션과 활성화를 수행하는 메모리 효율적인 CNN 아키텍처이며, CIFAR-10, SVHN, ImageNet 벤치마크에서 정확도 손실이 크지 않은 상태에서 특징 맵 메모리 사용량을 최대 60%까지 감소시킵니다.

ABSTRACT

The memory consumption of most Convolutional Neural Network (CNN) architectures grows rapidly with increasing depth of the network, which is a major constraint for efficient network training on modern GPUs with limited memory, embedded systems, and mobile devices. Several studies show that the feature maps (as generated after the convolutional layers) are the main bottleneck in this memory problem. Often, these feature maps mimic natural photographs in the sense that their energy is concentrated in the spectral domain. Although embedding CNN architectures in the spectral domain is widely exploited to accelerate the training process, we demonstrate that it is also possible to use the spectral domain to reduce the memory footprint, a method we call Spectral Domain Convolutional Neural Network (SpecNet) that performs both the convolution and the activation operations in the spectral domain. The performance of SpecNet is evaluated on three competitive object recognition benchmark tasks (CIFAR-10, SVHN, and ImageNet), and compared with several state-of-the-art implementations. Overall, SpecNet is able to reduce memory consumption by about 60% without significant loss of performance for all tested networks.

연구 동기 및 목표

• 학습 중 큰 중간 특징 맵으로 인해 발생하는 딥 CNN의 증가하는 메모리 병목 현상 해결.
• 특히 모바일 및 임베디드 시스템에서 모델 성능을 훼손하지 않으면서 CNN의 메모리 소비를 줄이기.
• 에너지 압축 성질을 활용해 스펙트럼 도메인에서 특징 맵의 희소하고 메모리 효율적인 저장을 가능하게 하기.
• 백프로파게이션 동안 기울기 흐름을 유지하면서도 스펙트럼 도메인에서 컨볼루션과 활성화를 모두 수행하는 새로운 CNN 블록 설계.
• 기존 공간 도메인 CNN과 비교해 스펙트럼 도메인 처리가 상당한 메모리 절감을 달성할 수 있음을 입증하기.

제안 방법

• 빠른 푸리에 변환(FFT)을 사용해 입력 특징 맵과 컨볼루션 커널을 스펙트럼 도메인으로 변환.
• 변환된 입력과 커널 간의 원소별 곱셈을 통해 스펙트럼 도메인 컨볼루션을 수행하여 계산 복잡도를 감소.
• 작은 크기의 스펙트럼 계수를 0으로 설정하기 위해 설정 가능한 임계값 β를 적용하여 특징 맵의 희소 저장 가능.
• 백프로파게이션을 지원하면서도 희소성과 대칭성을 유지하는 스펙트럼 도메인 활성화 함수 설계.
• 기존 CNN 아키텍처(예: AlexNet, VGG, DenseNet)에 스펙트럼 도메인 컨볼루션 블록을 통합하면서 네트워크의 전체 구조를 변경하지 않음.
• 스펙트럼 도메인 모델에서 배치 정규화 레이어를 동등한 스펙트럼 블록으로 대체하여 학습 안정성 유지.

실험 결과

연구 질문

• RQ1 특징 맵의 에너지 압축 성질을 활용해 스펙트럼 도메인 처리가 CNN의 메모리 소비를 줄일 수 있는가?
• RQ2 정확도와 메모리 효율성 측면에서 스펙트럼 도메인 CNN은 기존 공간 도메인 CNN과 비교해 어떻게 성능을 내는가?
• RQ3 스펙트럼 도메인에서의 희소성이 모델 정확도를 떨어뜨리지 않고 특징 맵 저장을 얼마나 줄일 수 있는가?
• RQ4 스펙트럼 도메인 컨볼루션은 기존 CNN 아키텍처에 최소한의 아키텍처 변경으로 통합 가능한가?
• RQ5 스펙트럼 임계값 β를 변화시킬 때 메모리 절감과 정확도 간의 상호 교환 관계는 어떠한가?

주요 결과

• CIFAR-10, SVHN, ImageNet 벤치마크에서 SpecNet은 피크 메모리 소비를 최대 63% 감소시키고 평균 메모리 사용량을 60% 감소시킴.
• ImageNet에서 SpecNet은 DenseNet169에 대해 40.8%의 메모리 소비를 기록했으며, VGG-16에선 46.7%를 기록했고, 원본 모델은 각각 100%를 기록함.
• Spec-DenseNet169의 경우 상위-1 정확도가 2.1% 감소(74.6% 대비 76.2%)했고, Spec-VGG16의 상위-1 정확도도 2.1% 감소(69.2% 대비 71.3%)했지만, 상위-5 정확도는 거의 동일함.
• 특히 더 깊은 네트워크에서 INPLACE-ABN, LQ-Net, HarDNet와 같은 다른 메모리 효율적 기법보다 SpecNet이 더 뛰어난 메모리 절감 성능를 보임.
• 이 기법은 양자화 및 프루닝과 같은 기존 기법들과 수직적(orthogonal)이므로, 병합 시 추가적인 메모리 절감이 가능함.
• 일부 경우에서 최적화된 FFT 연산 덕분에 계산 효율성도 향상되지만, 주요 이점은 여전히 메모리 절감이다.