[논문 리뷰] DCANet: Learning Connected Attentions for Convolutional Neural Networks

Xu Ma, Jingda Guo외 5명|arXiv (Cornell University)|2020. 07. 09.

Advanced Neural Network Applications참고 문헌 39인용 수 7

한 줄 요약

DCANet는 컨volution 신경망 내의 인접한 어텐션 블록을 연결하는 새로운 어텐션 메커니즘을 도입하여, 네트워크 아키텍처를 수정하지 않고도 블록 간의 정보 흐름을 가능하게 하여 어텐션 학습을 크게 향상시킨다. 교차 어텐션 연결을 통해 어텐션 블록을 공동으로 훈련시킴으로써, DCANet는 네트워크 아키텍처를 변경하지 않고도 ImageNet과 MS COCO에서 최신 기준 성능을 달성하며, 계산 오버헤드가 최소한이면서도 기존 어텐션 모듈을 일관되게 능가한다.

ABSTRACT

While self-attention mechanism has shown promising results for many vision tasks, it only considers the current features at a time. We show that such a manner cannot take full advantage of the attention mechanism. In this paper, we present Deep Connected Attention Network (DCANet), a novel design that boosts attention modules in a CNN model without any modification of the internal structure. To achieve this, we interconnect adjacent attention blocks, making information flow among attention blocks possible. With DCANet, all attention blocks in a CNN model are trained jointly, which improves the ability of attention learning. Our DCANet is generic. It is not limited to a specific attention module or base network architecture. Experimental results on ImageNet and MS COCO benchmarks show that DCANet consistently outperforms the state-of-the-art attention modules with a minimal additional computational overhead in all test cases. All code and models are made publicly available.

연구 동기 및 목표

• 기존의 자기어텐션 메커니즘이 각 어텐션 블록을 독립적으로 다루며 블록 간 협업을 忽略하는 한계를 해결하기 위해.
• 전용 연결을 통해 인접한 어텐션 블록 간의 정보 흐름을 가능하게 하여 어텐션 학습 능력을 향상시키기 위해.
• 내부 구조를 수정하지 않고도 다양한 어텐션 모듈(예: SENet, CBAM, GCNet)을 향상시킬 수 있는 일반적이고 아키텍처에 종속되지 않는 방법을 개발하기 위해.
• ImageNet 분류 및 MS COCO 객체 검출을 포함한 다양한 벤치마크에서 일관된 성능 향상을 입증하기 위해.
• 잔차 연결과 달리 어텐션 연결이 어텐션 학습을 능동적으로 이끌고 특징 구별 능력을 향상시킨다는 것을 검증하기 위해.

제안 방법

• 각 블록이 현재 특징 맵과 이전 어텐션 맵 양쪽을 참조할 수 있도록 인접한 어텐션 블록 간의 연결 체인을 도입한다.
• 학습 가능한 가중치를 통해 현재 특징 맵과 이전 어텐션 맵을 융합하는 미분 가능한 어텐션 연결 메커니즘을 제안한다.
• 잔차 유사 연결을 어텐션 블록에 적용하지만, ResNet의 잔차 연결과 달리 특징 맵이 아닌 어텐션 가이던스를 전달한다.
• 학습 가능한 게이트 메커니즘을 사용하여 이전 어텐션의 기여 비율을 제어하며, 이를 β/(α+β)로 정의하여 적응적 융합을 가능하게 한다.
• 아키텍처 변경 없이 다양한 어텐션 모듈(SENet, CBAM, GCNet, SKNet)과 기초 네트워크(ResNet, MobileNet, DenseNet)에 일반적으로 적용한다.
• 모든 어텐션 블록을 종단 간 백프로파게이션을 통해 공동으로 훈련시켜 네트워크 전반에서 협업 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 CNN 내 자기어텐션 메커니즘의 표현 능력을 향상시키기 위해 블록 간 상호작용을 도입할 수 있는가?
• RQ2 독립적인 어텐션 모듈과 비교해 어텐션 블록 간 연결이 더 나은 특징 구별 능력과 어텐션 집중을 유도하는가?
• RQ3 일반적이고 즉시 사용 가능한 모듈이 아키텍처 수정 없이 다양한 어텐션 메커니즘과 기초 아키텍처를 향상시킬 수 있는가?
• RQ4 다양한 레이어와 모듈에서 이전 어텐션 맵의 기여 비율이 현재 어텐션 학습에 미치는 영향은 어떠한가?
• RQ5 제안된 어텐션 연결 메커니즘이 이미지 분류 및 객체 검출과 같은 다양한 비전 작업에 일반화되는가?

주요 결과

• DCANet는 파라미터와 FLOPs의 증가가 거의 없이 SE-MobileNetV2의 ImageNet Top-1 정확도를 1.19% 향상시켰다.
• MS COCO 검출에서, DCA-SE-ResNet50은 RetinaNet에서 SE-ResNet50 대비 +0.3% AP 50:95를 기록했고, DCA-GC-ResNet50는 Cascade R-CNN에서 +0.3% AP 50:95를 달성했다.
• DCANet의 어텐션 맵 분포는 기존의 순수한 SE-ResNet50와 비교해 0.5 주변으로 군집되는 것보다 더 균일해졌으며, 이는 더 나은 어텐션 구별 능력을 의미한다.
• 모든 연결에서 이전 어텐션 맵의 기여 비율이 0을 초과로 일관되게 유지되어, 이전 어텐션이 항상 현재 어텐션 학습을 이끄는 것으로 확인되었다.
• ResNet50의 Stage 3에서 기여 비율이 안정화됨을 확인하여, DCANet가 깊이 있는 레이어에서 특징 학습을 가장 크게 향상시킨다는 것을 입증했다.
• 시각화 결과, DCA가 강화된 모델은 기존 모델이 단계를 거치며 집중 영역을 비정상적으로 이동시키는 것과 달리, 점진적으로 목표 객체에 집중하는 경향을 보였다.