[논문 리뷰] Accelerating Deep Neural Networks with Spatial Bottleneck Modules

Junran Peng, Lingxi Xie외 3명|arXiv (Cornell University)|2018. 09. 07.

Advanced Neural Network Applications참고 문헌 38인용 수 9

한 줄 요약

이 논문은 공간 블로킹 모듈을 제안하며, 이는 스트라이드-2 컨벌루션과 디컨벌루션을 통해 공간 해상도를 감소시킨 후 복원함으로써 컨벌루션 신경망의 속도를 높이는 경량 아키텍처 구성 요소이다. ImageNet과 CIFAR-100에서 정확도를 유지하거나 향상시키면서도 최대 2배의 추론 속도 향상을 달성한다. 이 방법은 공간 도메인에서 독립적으로 작동하며 기존의 채널 기반 압축 기법들과 보완된다.

ABSTRACT

This paper presents an efficient module named spatial bottleneck for accelerating the convolutional layers in deep neural networks. The core idea is to decompose convolution into two stages, which first reduce the spatial resolution of the feature map, and then restore it to the desired size. This operation decreases the sampling density in the spatial domain, which is independent yet complementary to network acceleration approaches in the channel domain. Using different sampling rates, we can tradeoff between recognition accuracy and model complexity. As a basic building block, spatial bottleneck can be used to replace any single convolutional layer, or the combination of two convolutional layers. We empirically verify the effectiveness of spatial bottleneck by applying it to the deep residual networks. Spatial bottleneck achieves 2x and 1.4x speedup on the regular and channel-bottlenecked residual blocks, respectively, with the accuracies retained in recognizing low-resolution images, and even improved in recognizing high-resolution images.

연구 동기 및 목표

• 딥 네URAL 네트워크의 컨벌루션 레이어에서 발생하는 높은 계산 비용, 특히 실시간 응용 분야에서의 문제를 해결하기 위해.
• 기존의 채널 기반 가속 기법들과 보완되는 방식으로, 아직 탐색되지 않은 공간 도메인 압축 기법을 탐구하기 위해.
• 깊이를 늘리지 않고 FLOPs를 줄일 수 있는 일반적이고 교체 가능한 모듈을 설계하기 위해.
• 다양한 네트워크 깊이에서 공간 희박화의 영향을 인식 정확도와 추론 속도에 미치는 영향을 평가하기 위해.
• 낮은 공간 샘플링이 특히 더 깊은 네트워크에서 일반화 성능을 향상시킬 수 있는지 확인하기 위해.

제안 방법

• 공간 블로킹 모듈은 컨벌루션을 두 단계로 분해한다: 먼저 공간 차원을 절반으로 줄이는 스트라이드-2 컨벌루션을 거친 후, 원래 크기로 복원하는 디컨벌루션을 수행한다.
• 이 방법은 체스보드 샘플링 전략을 사용하여 공간 샘플링을 희박화함으로써 계산량을 줄이면서도 특징 표현을 유지한다.
• 이 모듈은 어떤 단일 컨벌루션 레이어 또는 연속된 두 개의 컨벌루션 레이어의 교체용으로 설계되어 있다.
• 두 개의 컨벌루션 레이어를 교체할 경우 비선형 활성화 및 정규화 레이어는 유지되지만, 컨벌루션과 디컨벌루션 사이에는 선형성을 유지하고 깊이 증가를 방지하기 위해 생략된다.
• 이 방법은 리세드블록 기반의 ResNet 아키텍처, 일반형 및 채널 블로킹 버전 모두에 적용된다.
• ImageNet과 CIFAR-100에서 SGD와 네스터로프 모멘텀, 데이터 증강, 학습률 감소를 사용하여 초기부터 학습이 수행된다.

실험 결과

연구 질문

• RQ1 두 단계의 컨벌루션-디컨벌루션 과정을 통해 공간 해상도를 감소시키는 것이 깊은 신경망의 속도 향상에 효과적으로 기여할 수 있는가?
• RQ2 공간 블로킹 모듈을 통한 공간 희박화가 표준 컨벌루션 레이어와 비교해 정확도를 유지하거나 향상시키는가?
• RQ3 공간 블로킹의 성능은 다양한 네트워크 깊이와 아키텍처에서 어떻게 변화하는가?
• RQ4 공간 블로킹이 기존 네트워크 설계와 호환되면서도 상당한 속도 향상을 달성할 수 있는가?
• RQ5 낮은 공간 샘플링이 특히 더 깊은 네트워크에서 일반화 성능을 향상시키는가?

주요 결과

• 공간 블로킹은 일반 리세드블록에서 2배의 속도 향상을, 채널 블로킹 리세드블록에서는 1.4배의 속도 향상을 달성했으며, CIFAR-100에서는 정확도 손실 없이 성능을 유지했다.
• ImageNet에서 101층의 ResNet에서 공간 블로킹은 상위-1 정확도를 0.47% 향상시키고 상위-5 정확도를 0.25% 향상시켰으며, FLOPs는 27% 감소시켰다.
• 기준 모델 대비 ResNet-101에서 상위-1 오류율은 2.03% 감소하고 상위-5 오류율은 3.69% 감소하여, 계산량을 줄임과 동시에 일반화 성능 향상을 입증했다.
• 학습률이 충분히 작은 경우, 더 깊은 네트워크(ResNet-34 및 ResNet-101)에서 테스트 정확도가 지속적으로 향상되어 더 나은 최적화 행동을 보였다.
• 기존의 정확도를 희생하여 속도를 높이는 방법들과 비교해, 공간 블로킹 네트워크는 더 나은 정확도-FLOPs 트레이드오프 성능을 보였다.
• 이 방법은 저해상도와 고해상도 이미지 인식 작업 모두에서 효과적이었으며, 고해상도 ImageNet 이미지에서 정확도 향상을 관찰했다.