[논문 리뷰] AttaNet: Attention-Augmented Network for Fast and Accurate Scene Parsing

Qi Song, Kangfu Mei외 1명|arXiv (Cornell University)|2021. 03. 10.

Advanced Neural Network Applications참고 문헌 41인용 수 4

한 줄 요약

AttaNet는 전역적 맥락을 낮은 계산 비용으로 캡처하기 위해 수직 및 수평 스트립 기반 주의를 집중시키는 스트립 주의 모듈(SAM)과 다중 수준 특징을 지능적으로 융합하는 주의 융합 모듈(AFM)을 도입한 경량이며 효율적인 신경망으로, 실시간 장면 해석을 위해 설계되었다. 이는 기존 방법보다 훨씬 낮은 FLOPs로 상태의 성능을 달성하며, Cityscapes에서 180 FPS, 70.1% mIoU를 기록하고 ADE20K에서 43.71% mIoU를 달성한다.

ABSTRACT

Two factors have proven to be very important to the performance of semantic segmentation models: global context and multi-level semantics. However, generating features that capture both factors always leads to high computational complexity, which is problematic in real-time scenarios. In this paper, we propose a new model, called Attention-Augmented Network (AttaNet), to capture both global context and multilevel semantics while keeping the efficiency high. AttaNet consists of two primary modules: Strip Attention Module (SAM) and Attention Fusion Module (AFM). Viewing that in challenging images with low segmentation accuracy, there are a significantly larger amount of vertical strip areas than horizontal ones, SAM utilizes a striping operation to reduce the complexity of encoding global context in the vertical direction drastically while keeping most of contextual information, compared to the non-local approaches. Moreover, AFM follows a cross-level aggregation strategy to limit the computation, and adopts an attention strategy to weight the importance of different levels of features at each pixel when fusing them, obtaining an efficient multi-level representation. We have conducted extensive experiments on two semantic segmentation benchmarks, and our network achieves different levels of speed/accuracy trade-offs on Cityscapes, e.g., 71 FPS/79.9% mIoU, 130 FPS/78.5% mIoU, and 180 FPS/70.1% mIoU, and leading performance on ADE20K as well.

연구 동기 및 목표

• 의미 분할을 위해 전역 맥락과 다중 수준 의미를 사용하는 기존 모델의 높은 계산 비용 문제를 해결하기 위해.
• 주요 주의 메커니즘의 FLOPs를 줄여 실시간 추론를 가능하게 하되, 분할 정확도를 손상시키지 않기 위해.
• 전체 자기주의를 대체하여 방향성 스트리핑을 사용해 장거리 의존성을 효과적으로 캡처하는 효율적인 모듈을 개발하기 위해.
• 각 픽셀이 특징 중요도를 가중치로 평가하는 주의 기반 전략을 통해 다중 수준 특징을 효과적으로 융합하기 위해.
• 경량부터 깊은 아키텍처에 이르기까지 다양한 백본 네트워크와의 호환성과 성능 향상을 보장하기 위해.

제안 방법

• 자기주의의 공간 복잡도를 O(H×W×H×W)에서 O(H×W×W)로 줄이기 위해 수직 및 수평 스트리핑 연산을 적용하는 스트립 주의 모듈(SAM)을 도입하여 방향성 장거리 의존성을 집중적으로 모델링한다.
• 기둥(수직) 또는 행(수평)을 따라 전역 맥락을 인코딩하기 위해 스트리핑 연산을 사용하여, 울타리나 기둥과 같은 띠 형태의 객체에서 구조적 일관성을 유지하면서도 계산량을 줄인다.
• 학습 가능한 주의 가중치를 통해 크로스 레벨 특징 집합을 수행하는 주의 융합 모듈(AFM)을 제안하여 각 픽셀이 다양한 수준의 관련 특징을 동적으로 선택할 수 있도록 한다.
• 백본의 마지막 두 단계 사이에만 AFM을 적용하여 계산 오버헤드를 최소화하면서도 특징 표현 품질을 극대화한다.
• 플러그 앤 플레이 방식으로 설계되어 ResNet50, ResNet101, ShuffleNetV2, DF1, DF2 등 다양한 백본 네트워크와의 통합이 가능하도록 한다.
• 최소한의 추가 파rameter와 FLOPs를 요구하는 크로스 레벨 집합 아키텍처를 채택하여 성능을 손상시키지 않으면서도 고도로 효율적인 성능을 확보한다.

실험 결과

연구 질문

• RQ1 의미 분할에서 전역 맥락 모델링의 계산 비용을 줄이기 위해 더 효율적인 주의 메커니즘을 설계할 수 있는가?
• RQ2 의미 분할에서 다중 수준 특징을 효과적으로 융합할 수 있는가? 이때 추가적인 계산 오버헤드가 크지 않도록 한다.
• RQ3 방향성 스트리핑 연산은 장거리 의존성 모델링을 향상시키면서도 분할에서 구조적 세부 정보를 유지할 수 있는가?
• RQ4 제안된 주의 기반 융합 전략은 단순한 연결 또는 원소별 덧셈보다 다중 수준 특징 통합에서 더 우수한 성능을 내는가?
• RQ5 제안된 모듈은 경량 및 깊은 네트워크를 포함한 다양한 백본 아키텍처에 일반화될 수 있는가?

주요 결과

• AttaNet은 Cityscapes에서 180 FPS, 70.1% mIoU를 기록하여 뛰어난 속도-정확도 트레이드오프를 보였다.
• Cityscapes에서 AttaNet은 130 FPS, 78.5% mIoU와 71 FPS, 79.9% mIoU를 달성하여 기존 많은 방법보다 빠르고 정확도 면에서 뛰어나다.
• ResNet50 기반에서 AttaNet은 mIoU를 73.4%에서 81.2%로 향상시키며 FLOPs는 단지 3.2% 증가에 그쳐 매우 효율적임을 보였다.
• ADE20K에서 AttaNet은 오직 150.5 GFLOPs로 43.71% mIoU를 달성하여 더 높은 FLOPs를 가진 모델들보다 뚜렷한 승리를 거두었다.
• SAM은 비국소 블록 대비 FLOPs를 94.5% 감소시키며 CCNet의 RCCA 모듈 대비 60.8% 감소시켰고, 분할 품질은 유사하거나 더 뛰어나다.
• AFM는 계산량이 약간 증가하는 것에 비해 융합 방법 중 최고의 성능을 기록하여 다중 수준 특징 융합에 효과적임을 입증했다.