[논문 리뷰] CAA : Channelized Axial Attention for Semantic Segmentation.

Ye Huang, Wenjing Jia외 4명|arXiv (Cornell University)|2021. 01. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 6

한 줄 요약

이 논문은 수신 영역 전역에서 채널 중요도를 최적화하기 위해 전치된 도트곱 어텐션 맵을 채널화하여 채널과 축 방향 어텐션을 원활하게 통합하는 새로운 어텐션 메커니즘인 채널화 축 주의(Channeled Axial Attention, CAA)를 제안한다. CAA는 계산 복잡도를 감소시키면서도 Cityscapes, PASCAL Context, COCO-Stuff에서 최신 기술(SOTA) 모델인 ResNet-101을 능가하며 훨씬 낮은 자원 소비로 성능을 내는 데 성공했다.

ABSTRACT

Self-attention and channel attention, modelling thesemantic interdependencies in spatial and channel dimensionsrespectively, have recently been widely used for semantic seg-mentation. However, computing spatial-attention and channelattention separately and then fusing them directly can causeconflicting feature representations. In this paper, we proposethe Channelized Axial Attention (CAA) to seamlessly integratechannel attention and axial attention with reduced computationalcomplexity. After computing axial attention maps, we propose tochannelize the intermediate results obtained from the transposeddot-product so that the channel importance of each axial repre-sentation is optimized across the whole receptive field. We furtherdevelop grouped vectorization, which allows our model to be runwith very little memory consumption at a speed comparableto the full vectorization. Comparative experiments conductedon multiple benchmark datasets, including Cityscapes, PASCALContext and COCO-Stuff, demonstrate that our CAA not onlyrequires much less computation resources compared with otherdual attention models such as DANet, but also outperformsthe state-of-the-art ResNet-101-based segmentation models on alltested datasets.

연구 동기 및 목표

• 기존 双어텐션 메커니즘에서 공간과 채널 어텐션을 별도로 계산하고 융합함으로써 발생하는 상충되는 특징 표현 문제를 해결하기 위해.
• 성능을 저하시키지 않은 채 세그멘테이션을 위한 이중 어텐션 메커니즘의 계산 복잡도를 감소시키기 위해.
• 그룹화된 벡터화를 통해 효율적인 추론을 가능하게 하여 메모리 소비를 최소화하면서도 속도를 유지하기 위해.
• 축 주의 표현의 중간 표현을 채널화하여 수신 영역 전역에서 채널 중요도를 최적화하기 위해.

제안 방법

• 한 축을 따라 공간적 의존성을 추출하기 위해 축 주의를 적용한 후, 전치된 도트곱 어텐션을 사용해 중간 특징 맵을 생성한다.
• 수신 영역 전역에서 채널 중요도를 최적화하여 중간 어텐션 맵을 채널화함으로써 특징 표현을 향상시킨다.
• 전체 벡터화 수준과 비교해도 속도를 유지하면서 추론 중 메모리 소비를 줄이기 위해 그룹화된 벡터화를 도입한다.
• 직접 융합을 피하고 채널화를 통해 채널과 축 주의를 원활하게 통합함으로써 표현 간 충돌을 방지한다.
• 축 주의에서 유도된 전역적 맥락을 기반으로 채널별 어텐션 가중치를 개선하기 위한 학습 가능한 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 공간 어텐션과 채널 어텐션을 별도로 계산하고 직접 융합하는 것보다 더 효과적으로 통합할 수 있는가?
• RQ2 축 주의 맵을 채널화하면 특징 표현이 향상되고 계산 비용이 감소하는가?
• RQ3 그룹화된 벡터화가 성능을 유지하면서도 최소한의 메모리 소비로 효율적인 추론을 가능하게 하는가?
• RQ4 제안된 CAA 메커니즘이 정확도와 효율성 측면에서 기존의 이중 어텐션 모델을 모두 능가하는가?

주요 결과

• CAA는 Cityscapes, PASCAL Context, COCO-Stuff 벤치마크에서 기존 ResNet-101 기반 모델을 능가하는 최신 기술(SOTA) 성능을 달성했다.
• CAA는 DANet과 같은 이중 어텐션 모델보다 훨씬 낮은 계산 자원 소비를 요구하여 효율성이 향상됨을 보여주었다.
• 그룹화된 벡터화의 활용으로 추론 중에 낮은 메모리 소비를 달성하였고, 전체 벡터화 수준과 비교해도 속도가 유사했다.
• 축 주의 맵의 채널화로 수신 영역 전역에서 더 일관되고 최적화된 특징 표현이 가능해졌다.