[논문 리뷰] Squeeze-and-Excitation Networks

Jie Hu, Li Shen외 3명|arXiv (Cornell University)|2017. 09. 05.

Advanced Neural Network Applications인용 수 2,226

한 줄 요약

Squeeze-and-Excitation(SE) 블록은 채널 간 의존관계를 모델링하여 채널별 특성 응답을 재조정하고, 다양한 CNN 아키텍처와 데이터셋에서 계산 오버헤드를 최소로 하면서도 정확도 향상을 크게 달성한다.

ABSTRACT

The central building block of convolutional neural networks (CNNs) is the convolution operator, which enables networks to construct informative features by fusing both spatial and channel-wise information within local receptive fields at each layer. A broad range of prior research has investigated the spatial component of this relationship, seeking to strengthen the representational power of a CNN by enhancing the quality of spatial encodings throughout its feature hierarchy. In this work, we focus instead on the channel relationship and propose a novel architectural unit, which we term the "Squeeze-and-Excitation" (SE) block, that adaptively recalibrates channel-wise feature responses by explicitly modelling interdependencies between channels. We show that these blocks can be stacked together to form SENet architectures that generalise extremely effectively across different datasets. We further demonstrate that SE blocks bring significant improvements in performance for existing state-of-the-art CNNs at slight additional computational cost. Squeeze-and-Excitation Networks formed the foundation of our ILSVRC 2017 classification submission which won first place and reduced the top-5 error to 2.251%, surpassing the winning entry of 2016 by a relative improvement of ~25%. Models and code are available at https://github.com/hujie-frank/SENet.

연구 동기 및 목표

• 채널 간의 상호 의존성을 명시적으로 모델링하는 것이 CNN 표현력을 향상시킬 수 있는지 조사한다.
• 채널별 특징 응답을 재조정하는 경량화된 아키텍처 단위(SE 블록)를 개발한다.
• SE 블록이 다양한 아키텍처에 드롭인 대체로 통합되어 계산 비용을 크게 늘리지 않으면서 성능을 향상시킬 수 있음을 시연한다.

제안 방법

• 채널의 전역 통계를 포착하기 위한 글로벌 평균 풀링으로 squeeze 연산으로 구성된 SE 블록을 정의한다.
• 각 채널 가중치를 생성하기 위해 두 개의 전결합 층으로 구성된 바이어스가 있는 excitation 메커니즘과 시그모이드 게이트를 설계한다.
• 학습된 채널별 가중치를 적용하여 해당 특징 맵을 스케일링한다(채널별 재가중).
• SE 블록을 쌓아 SENet 아키텍처를 형성하거나 기존 네트워크의 블록을 대체하여 다양한 깊이와 아키텍처에 적용한다(예: SE-ResNet, SE-Inception).
• ImageNet 및 추가 데이터셋(CIFAR-10/100, Places365)에서 SE 블록을 평가하고 다양한 아키텍처(ResNet, Inception, ResNeXt, MobileNet, ShuffleNet)에서 검증한다.
• 기준선과 비교하고(기본 r = 16) 계산 비용이 적당한 GFLOP 오버헤드와 함께 개선을 보고한다.

실험 결과

연구 질문

• RQ1 SE 블록이 표준 CNN 아키텍처 전반에서 큰 계산 비용 증가 없이 분류 정확도를 향상시키는가?
• RQ2 SE 블록을 통한 채널별 재조정이 ImageNet을 넘어 데이터셋과 작업에 일반화될 수 있는가?
• RQ3 서로 다른 네트워크 깊이와 아키텍처에서 SE 블록의 영향은 무엇인가?

주요 결과

• SE 블록은 ResNet, Inception-ResNet, ResNeXt, VGG-유사, MobileNet 및 ShuffleNet 기반선에서 일관되게 top-1 및 top-5 정확도를 향상시킨다.
• SE-ResNet-50은 ImageNet에서 top-5 오차 6.62%를 달성하여 ResNet-50 대비 0.86% 개선되며, FLOPs는 대략 절반으로 더 깊은 ResNet-101의 성능에 근접한다.
• SE-ResNet-101 및 SE-ResNet-152는 비-SE 대응 모델들보다 우수하고, 더 깊은 모델들 중 일부를 능가하며, 비슷하거나 다소 증가된 계산 비용으로 정확도가 향상된다.
• SE 블록은 CIFAR-10 및 CIFAR-100에서 ResNet, WRN, Shake-Shake 변형 전반에 걸쳐 이점을 제공하여 소규모 데이터셋에 대한 강건함을 시사한다.
• Places365에서 SE-ResNet-152는 ResNet-152보다 더 낮은 top-5 오류(11.01% 대 11.61%)를 달성한다.
• COCO의 Faster R-CNN에서 SE-ResNet 백본은 기준 ResNet 대비 AP@IoU=0.5 및 AP를 향상시키며(SE-ResNet-50은 ResNet-50보다 2.4 AP 포인트 우수)