[논문 리뷰] EPSANet: An Efficient Pyramid Split Attention Block on Convolutional Neural Network

Hu Zhang, Keke Zu외 3명|arXiv (Cornell University)|2021. 05. 30.

Advanced Neural Network Applications참고 문헌 39인용 수 42

한 줄 요약

이 논문은 ResNet의 복합 블록을 대체하여 효율적 피라미드 압축 주의(Efficient Pyramid Squeeze Attention, EPSA) 모듈을 사용하는 경량이고 효율적인 백본 아키텍처인 EPSANet을 제안한다. EPSA 블록은 다중 척도 특징 표현을 향상시키는 새로운 피라미드 압축 주의(PSA) 메커니즘을 사용한다. 이로 인해 최신 기준 성능 향상이 이루어졌으며, 추가적인 기능 강화 없이도 ImageNet에서 +1.93% Top-1 정확도, MS-COCO 객체 검출에서 +2.7 박스 AP, 인스턴스 세그멘테이션에서 +1.7 마스크 AP 향상을 기록하였다.

ABSTRACT

Recently, it has been demonstrated that the performance of a deep convolutional neural network can be effectively improved by embedding an attention module into it. In this work, a novel lightweight and effective attention method named Pyramid Squeeze Attention (PSA) module is proposed. By replacing the 3x3 convolution with the PSA module in the bottleneck blocks of the ResNet, a novel representational block named Efficient Pyramid Squeeze Attention (EPSA) is obtained. The EPSA block can be easily added as a plug-and-play component into a well-established backbone network, and significant improvements on model performance can be achieved. Hence, a simple and efficient backbone architecture named EPSANet is developed in this work by stacking these ResNet-style EPSA blocks. Correspondingly, a stronger multi-scale representation ability can be offered by the proposed EPSANet for various computer vision tasks including but not limited to, image classification, object detection, instance segmentation, etc. Without bells and whistles, the performance of the proposed EPSANet outperforms most of the state-of-the-art channel attention methods. As compared to the SENet-50, the Top-1 accuracy is improved by 1.93% on ImageNet dataset, a larger margin of +2.7 box AP for object detection and an improvement of +1.7 mask AP for instance segmentation by using the Mask-RCNN on MS-COCO dataset are obtained. Our source code is available at:this https URL.

연구 동기 및 목표

• 깊이 있는 컨volution 신경망의 특징 표현을 향상시키기 위해 더 효과적이고 효율적인 주의 메커니즘을 개발하기.
• 기존의 채널 주의 모듈이 다중 척도 공간 및 채널 의존성을 포착하는 데 한계가 있음을 해결하기.
• 아키텍처의 대대적 개선이나 하이퍼파라미터 튜닝 없이도 백본 네트워크를 향상시킬 수 있는 플러그 앤 플레이 블록을 설계하기.
• 최소한의 계산 오버헤드로 표준 벤치마크에서 최신 기준 성능을 달성하기.
• 분류, 검출, 인스턴스 세그멘테이션을 포함한 다양한 컴퓨터 비전 작업에서 일관된 성능 향상을 입증하기.

제안 방법

• ResNet 복합 블록 내의 3x3 컨볼루션을 대체하기 위해 피라미드 압축 주의(PSA) 모듈을 제안한다.
• 병렬 피라미드 풀링을 통해 공간적 및 채널 의존성을 포착하는 다중 척도 특징 집약 메커니즘을 도입한다.
• 다양한 척도에서 정보가 풍부한 특징을 동적으로 강조하기 위해 학습 가능한 주의 가중치 메커니즘을 활용한다.
• 잔차 학습을 유지하면서 PSA 모듈을 잔차 블록 구조에 통합하여 EPSA 블록을 구성한다.
• 엔드 투 엔드 훈련을 위해 ResNet 스타일의 백본으로 다수의 EPSA 블록을 스택하여 EPSANet을 설계한다.
• 간단하고 파라미터 효율적인 아키텍처를 사용하여 계산 효율성을 유지하면서도 표현 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 더 효과적인 주의 메커니즘이 모델 복잡도를 증가시키지 않으면서도 딥 컨volution 신경망의 성능을 향상시킬 수 있는가?
• RQ2 제안된 피라미드 주의 메커니즘이 기존의 채널 주의 모듈에 비해 다중 척도 특징을 포착하는 데 얼마나 우수한가?
• RQ3 EPSA 블록이 분류, 검출, 세그멘테이션과 같은 다양한 비전 작업에서 모델 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 EPSA 블록의 플러그 앤 플레이 성격이 다양한 백본 아키텍처에서 일관된 성능 향상을 가능하게 하는가?
• RQ5 기존 최신 기준 모델인 SENet-50에 비해 EPSANet의 성능 향상은 표준 벤치마크에서 어느 정도인가?

주요 결과

• EPSANet는 ImageNet 데이터셋에서 SENet-50보다 +1.93% 높은 Top-1 정확도를 달성하였다.
• Mask R-CNN와 함께 사용했을 때 MS-COCO 데이터셋에서 객체 검출 성능이 +2.7 박스 AP 향상되었다.
• 동일한 Mask R-CNN 프레임워크를 사용한 인스턴스 세그멘테이션 작업에서 +1.7 마스크 AP 향상이 이루어졌다.
• 추가적인 데이터 증강, 훈련 기술, 아키텍처 수정 없이도 성능 향상이 달성되었다.
• 제안된 EPSA 블록은 경량이며 기존의 ResNet 스타일 백본에 쉽게 통합 가능한 플러그 앤 플레이 구성요소이다.
• 다양한 컴퓨터 비전 작업에서 일관되고 뚜렷한 성능 향상이 나타나, 이 방법의 효과성과 일반화 능력을 확인하였다.