[논문 리뷰] Gather-Excite: Exploiting Feature Context in Convolutional Neural Networks

Jie Hu, Li Shen외 3명|arXiv (Cornell University)|2018. 10. 29.

Advanced Neural Network Applications참고 문헌 29인용 수 386

한 줄 요약

본 논문은 Broad한 특징 맥락을 수확하고 CNN의 특징 맵의 가중치를 재조정하는 Gather-Excite (GE) 모듈을 제안합니다. 이를 통해 ImageNet, CIFAR, 객체 탐지 과제에서 매개변수 오버헤드를 최소화하면서 현저한 정확도 향상을 거두고, 더 깊은 네트워크에 대한 보완적 이득을 보여줍니다.

ABSTRACT

While the use of bottom-up local operators in convolutional neural networks (CNNs) matches well some of the statistics of natural images, it may also prevent such models from capturing contextual long-range feature interactions. In this work, we propose a simple, lightweight approach for better context exploitation in CNNs. We do so by introducing a pair of operators: gather, which efficiently aggregates feature responses from a large spatial extent, and excite, which redistributes the pooled information to local features. The operators are cheap, both in terms of number of added parameters and computational complexity, and can be integrated directly in existing architectures to improve their performance. Experiments on several datasets show that gather-excite can bring benefits comparable to increasing the depth of a CNN at a fraction of the cost. For example, we find ResNet-50 with gather-excite operators is able to outperform its 101-layer counterpart on ImageNet with no additional learnable parameters. We also propose a parametric gather-excite operator pair which yields further performance gains, relate it to the recently-introduced Squeeze-and-Excitation Networks, and analyse the effects of these changes to the CNN feature activation statistics.

연구 동기 및 목표

• CNN 컨텍스트 활용을 지역 수용영역 너머로 개선할 필요성 제시.
• Gather 연산자와 Excite 연산자로 구성된 경량 GE 프레임워크 제안.
• 아키텍처 및 데이터셋 전반에서 매개변수 제로(파라미터-프리) 및 매개변수화된 GE 변형을 시연.
• GE가 학습 표현, 수렴 및 특징 재사용에 미치는 영향을 분석.

제안 방법

• 큰 공간 범위에서 특징 응답을 집계하는 gather 연산자를 사용해 GE 프레임워크 정의.
• 수집된 맥락에 조건화된 입력 특징을 조절하는 excite 연산자를 정의.
• average pooling 및 보간을 사용한 매개변수 제로 GE (GE-θ−)와 깊이별 합성곱 및 채널 서브네트워크를 이용한 excite로 매개변수화된 GE (GE-θ, GE-θ+)를 구현.
• 다양한 단계에서 ResNet-50/101 및 다른 백본에 GE 블록을 삽입해 성능, 효율성 및 단계별 영향 평가.
• ImageNet, CIFAR-10/100, MS COCO 객체 탐색에서 GE 변형을 Squeeze-and-Excitation (SE) 네트워크 및 심층 baselines과 비교.

실험 결과

연구 질문

• RQ1 간단하고 맥락을 집계하는 GE 모듈을 도입하는 것이 지역 특징 의사결정을 넘어 CNN 성능을 개선하는가?
• RQ2 매개변수 제로 GE 변형과 매개변수화된 GE 변형이 정확도, 계산량, 매개변수 수에서 어떻게 비교되는가?
• RQ3 네트워크에서 GE 모듈이 가장 큰 이점을 주는 위치(어느 단계)?
• RQ4 GE가 깊이, 아키텍처, 데이터셋 규모(ImageNet, CIFAR, COCO)와 어떤 상호작용을 보이는가?

주요 결과

• GE가 전역 범위인 GE-θ−은 ResNet-50의 ImageNet에서 상위-1 오류를 23.30%에서 22.14%로 개선해 ResNet-101 성능에 근접하게 만듭니다.
• 매개변수화된 GE (GE-θ)는 GE-θ−보다 추가 이득을 가져오며, 예를 들어 ResNet-50에서 상위-1 22.00% 대 23.30%의 기준 대비 모듈이 더 낮은 FLOPs 증가로 개선됩니다.
• GE-θ+ (향상된 excitation)와 GE-θ를 결합하면 ImageNet에서 21.88% 상위-1로 달성되어 152-층 ResNet과 비교할 만큼의 정확도를 보이면서도 복잡도는 더 낮습니다.
• GE 변형은 깊이가 있는 뒷본(ResNet-101 등)으로도 이득을 전달하며, 깊이와의 상보적 개선을 보입니다.
• 리소스 제약이 큰 구조인 ShuffleNet 등에서도 GE-θ+가 강한 이득을 제공하며, CIFAR-10/100 같은 데이터셋에서 매개변수 예산이 제한된 상황에서 성능 향상을 제공합니다.
• 객체 탐지(MS COCO)에서 ResNet-50을 GE-θ 백본으로 교체하면 mAP가 27.3에서 28.6으로 개선됩니다.