[논문 리뷰] Learning a Wavelet-like Auto-Encoder to Accelerate Deep Neural Networks

Tianshui Chen, Lin Liang외 3명|arXiv (Cornell University)|2017. 12. 20.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 입력 이미지를 저주파 및 고주파 하위이미지로 분해하여 효율적인 딥 네트워크 추론을 위한 웨이블릿 유사 오토인코더(WAE)를 제안한다. 표준 분류기(예: VGG 또는 ResNet)에 저주파 성분을 공급하고 고주파 성분에 경량 네트워크를 적용함으로써, 정확도 저하를 최소화하면서 ImageNet에서 최대 3.13배의 속도 향상을 달성한다. 또한 이미지 복원 성능을 유지하고 성능 향상을 위한 공동 학습이 가능하다.

ABSTRACT

Accelerating deep neural networks (DNNs) has been attracting increasing attention as it can benefit a wide range of applications, e.g., enabling mobile systems with limited computing resources to own powerful visual recognition ability. A practical strategy to this goal usually relies on a two-stage process: operating on the trained DNNs (e.g., approximating the convolutional filters with tensor decomposition) and fine-tuning the amended network, leading to difficulty in balancing the trade-off between acceleration and maintaining recognition performance. In this work, aiming at a general and comprehensive way for neural network acceleration, we develop a Wavelet-like Auto-Encoder (WAE) that decomposes the original input image into two low-resolution channels (sub-images) and incorporate the WAE into the classification neural networks for joint training. The two decomposed channels, in particular, are encoded to carry the low-frequency information (e.g., image profiles) and high-frequency (e.g., image details or noises), respectively, and enable reconstructing the original input image through the decoding process. Then, we feed the low-frequency channel into a standard classification network such as VGG or ResNet and employ a very lightweight network to fuse with the high-frequency channel to obtain the classification result. Compared to existing DNN acceleration solutions, our framework has the following advantages: i) it is tolerant to any existing convolutional neural networks for classification without amending their structures; ii) the WAE provides an interpretable way to preserve the main components of the input image for classification.

연구 동기 및 목표

• 자원 제약이 있는 장치에서 인식 정확도를 훼손하지 않으면서 딥 네트워크의 가속화 문제를 해결하기 위해.
• 기존의 CNN 아키텍처와 호환되며 구조적 수정 없이도 적용 가능한 일반적인 가속화 프레임워크를 개발하기 위해.
• 저주파(콘텐츠) 및 고주파(세부 정보/노이즈) 성분으로 분리되는 해석 가능한 분해를 통해 중요한 이미지 콘텐츠를 유지하기 위해.
• WAE와 분류 네트워크를 공동으로 학습시켜 복원 정확도와 분류 성능를 동시에 최적화하기 위해.
• ImageNet 이외의 다양한 데이터셋에서 노이즈에 대한 강건성과 일반화 성능을 평가하기 위해.

제안 방법

• WAE는 $224 \times 224$ 입력 이미지를 저주파 및 고주파 성분을 나타내는 두 개의 $112 \times 112$ 하위이미지로 분해하는 인코딩 레이어를 사용한다.
• 복원 손실을 통해 복원 정확도를 강제로 확보하기 위해, 복원 레이어가 두 하위이미지에서 원본 이미지를 재구성한다.
• 고주파 채널에 에너지 최소화 손실을 적용하여 에너지를 감소시킴으로써, 경량 네트워크를 이용한 효율적 처리를 가능하게 한다.
• 저주파 하위이미지는 표준 분류 네트워크(예: VGG16 또는 ResNet)에 입력되고, 경량 네트워크는 고주파 하위이미지와 융합되어 최종 분류를 수행한다.
• 복원 오차와 에너지 최소화를 포함하는 병합된 손실 함수를 사용하여 WAE와 분류 네트워크를 공동으로 학습한다.
• 필터 근사화나 가중치 양자화를 피함으로써 원본 네트워크 아키텍처를 유지하고 플러그 앤 플레이 배포가 가능하게 한다.

실험 결과

연구 질문

• RQ1 웨이블릿 유사 오토인코더는 기초 네트워크 아키텍처를 수정하지 않고도 입력 이미지를 해석 가능한 저주파 및 고주파 성분으로 분해하여 추론 속도를 향상시킬 수 있는가?
• RQ2 WAE와 분류 네트워크를 공동으로 학습시키면, 기초 네트워크만 미세조정하는 것보다 정확도가 향상되는가?
• RQ3 WAE 기반의 가속화 방법은 ImageNet 및 CACD와 같은 다양한 데이터셋에서 일반화되며, 노이즈 조건에서도 성능 유지를 유지할 수 있는가?
• RQ4 기존의 가속 기법인 텐서 분해나 양자화와 비교했을 때, 제안된 방법은 속도 향상과 정확도 측면에서 어떻게 비교되는가?
• RQ5 고주파 에너지를 최소화하는 것이 이미지 노이즈에 대한 강건성에 얼마나 기여하는가?

주요 결과

• ImageNet에서 제안된 방법은 표준 VGG16-Net 대비 CPU에서 3.13배, GPU에서 2.59배의 속도 향상을 달성하였고, 상위 5개 정답 오차율은 1.87% 증가에 그쳤다.
• 공동 미세조정을 통해 상위 5개 정답 오차율은 12.21%에서 11.87%로 감소하여 종단 간 최적화의 유용성을 입증하였다.
• ResNet-50에서 CPU 기준 1.88배의 속도 향상을 기록하였고, 상위 5개 정답 오차율은 0.8% 증가에 그쳤으며, 속도와 정확도 모두 ThiNet을 능가하였다.
• CACD 얼굴 데이터셋에서 3.13배의 속도 향상을 기록하였고, VGG16-Net 대비 정확도는 0.22% 향상되어 강력한 일반화 성능을 보였다.
• 가우시안 노이즈(분산 0.05) 조건에서, VGG16-Net 대비 정확도가 10.81% 향상되어 노이즈에 대한 강건성이 향상됨을 시사하였다.
• WAE 프레임워크는 높은 복원 품질을 유지하며 고주파 성분에 대해 최소한의 계산으로 효과적인 분류를 가능하게 하였다.