[논문 리뷰] Squeeze-and-Attention Networks for Semantic Segmentation

Zilong Zhong, Zhong Qiu Lin외 7명|arXiv (Cornell University)|2019. 09. 08.

Advanced Neural Network Applications참고 문헌 44인용 수 20

한 줄 요약

이 논문은 Squeeze-and-Attention 네트워크(SANet)를 제안하며, 이는 분할을 픽셀 단위 예측과 픽셀 그룹 주의 메커니즘으로 분리하는 새로운 의미 분할 아키텍처이다. 비국소적이고 다운샘플된 주의 맵을 통해 공간-채널 의존성을 학습하는 스위즈-앤티션(SA) 모듈을 도입함으로써, 무거운 확장 컨볼루션을 사용하지 않고도 특징 표현을 향상시킨다. 이로 인해 COCO 사전학습 없이도 PASCAL VOC에서 83.2% mIoU, PASCAL Context에서 54.4% mIoU를 달성한다.

ABSTRACT

The recent integration of attention mechanisms into segmentation networks improves their representational capabilities through a great emphasis on more informative features. However, these attention mechanisms ignore an implicit sub-task of semantic segmentation and are constrained by the grid structure of convolution kernels. In this paper, we propose a novel squeeze-and-attention network (SANet) architecture that leverages an effective squeeze-and-attention (SA) module to account for two distinctive characteristics of segmentation: i) pixel-group attention, and ii) pixel-wise prediction. Specifically, the proposed SA modules impose pixel-group attention on conventional convolution by introducing an 'attention' convolutional channel, thus taking into account spatial-channel inter-dependencies in an efficient manner. The final segmentation results are produced by merging outputs from four hierarchical stages of a SANet to integrate multi-scale contexts for obtaining an enhanced pixel-wise prediction. Empirical experiments on two challenging public datasets validate the effectiveness of the proposed SANets, which achieves 83.2% mIoU (without COCO pre-training) on PASCAL VOC and a state-of-the-art mIoU of 54.4% on PASCAL Context.

연구 동기 및 목표

• 의미 분할에서 거의 간과된 픽셀 그룹화라는 하위 과제를 해결함으로써 픽셀 단위 예측과 보완되도록 하기 위해.
• 공간적 특징 학습을 제한하는 격자 구조의 컨볼루션 커널의 한계를 극복하기 위해.
• 무거운 확장 컨볼루션에 의존하지 않고 비국소적 공간 의존성을 포착할 수 있는 효율적인 주의 메커니즘을 설계하기 위해.
• 계층적 스테이지 간의 다중 척도 맥락적 특징을 통합하여 더 나은 밀집 예측을 달성하기 위해.
• 기준 벤치마크 간에 잘 일반화되는 경량이지만 강력한 분할 네트워크를 개발하기 위해.

제안 방법

• 평균 풀링을 사용하여 특징 맵을 다운샘플링함으로써 공간 구조를 유지하면서 주의 마스크를 생성하는 스위즈-앤티션(SA) 모듈을 제안한다.
• 공간적 및 채널 별 의존성에 기반하여 특징 채널을 재교정하는 가중치를 학습 가능한 방식으로 생성하기 위해 주의 컨볼루션을 도입한다.
• 다중 스테이지 네트워크의 헤드 유닛으로 SA 모듈을 통합하며, 네 개의 계층적 백본 스테이지 출력에 적용한다.
• 강력한 특징 추출 능력을 활용하기 위해 확장 컨볼루션 ResNet과 EfficientNet을 백본으로 사용한다.
• SA 모듈에서 유도된 다중 척도 특징을 통합하여 객체 경계 검출 및 시나리오 해석을 향상시킨다.
• 복잡한 모듈(예: EncNet의 것과 유사한)을 피하는 단순하지만 효과적인 아키텍처를 채택하여 계산 비용을 줄이면서도 성능을 유지한다.

실험 결과

연구 질문

• RQ1 의미 분할은 픽셀 단위 예측과 픽셀 그룹 주의라는 두 개의 독립적인 하위 과제로 효과적으로 분해될 수 있는가?
• RQ2 확장 컨볼루션에 의존하지 않고도 비국소적 공간 의존성을 포착할 수 있는 주의 메커니즘은 어떻게 설계할 수 있는가?
• RQ3 경량 주의 모듈은 모델 복잡성 감소와 함께 분할 성능 향상에 기여할 수 있는가?
• RQ4 계층적 SA 모듈을 통해 다중 척도 특징을 통합하면 경계 및 맥락 이해도 향상에 기여하는가?
• RQ5 제안된 SANet는 COCO 사전학습 없이도 도전적인 벤치마크에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• SANet는 COCO 사전학습 없이도 PASCAL VOC 2012에서 83.2% mIoU를 달성하여 RefineNet 및 PSPNet와 같은 이전 모델들을 능가한다.
• PASCAL Context에서는 54.4%의 최신 기술 mIoU를 기록하며, 장기 꼬리 및 복잡한 시나리오에서 강력한 일반화 능력을 보여준다.
• COCO 사전학습을 사용할 경우 86.1% mIoU를 달성하며, 더 무거운 ResNet101 백본을 사용함에도 불구하고 PSPNet와 유사한 성능을 보이며 RefineNet를 능가한다.
• SANet는 오직 55.5M 파라미터와 204.7G MACs만을 사용하며, SDN(238.5M 파라미터)과 같은 무거운 모델보다 훨씬 적은 자원을 사용하면서도 몇몇 더 큰 모델들보다 높은 mIoU를 달성한다.
• 정성적 결과 분석에서 SANet는 기준 FCN 및 기타 모델들보다 더 선명한 객체 경계와 더 정확한 해석을 생성하는 것으로 나타났다.
• SA 모듈는 계산적으로 효율적이며 효과적이며, EncNet의 인코딩 모듈보다 정확도와 파라미터 효율성 측면에서 뛰어나다.