[논문 리뷰] Spatial-Assistant Encoder-Decoder Network for Real Time Semantic Segmentation

Yalun Wang, Shidong Chen외 3명|arXiv (Cornell University)|2023. 09. 19.

Advanced Neural Network Applications인용 수 8

한 줄 요약

SANet은 real-time semantic segmentation를 위해 인코더-디코더와 두-pathway 설계를 혼합하고, 다중 스케일 컨텍스트를 위한 APPPM과 효율적 디코더 어텐션을 위한 SAD를 도입; Cityscapes와 CamVid에서 경쟁력 있는 mIoU 및 높은 FPS를 달성.

ABSTRACT

Semantic segmentation is an essential technology for self-driving cars to comprehend their surroundings. Currently, real-time semantic segmentation networks commonly employ either encoder-decoder architecture or two-pathway architecture. Generally speaking, encoder-decoder models tend to be quicker,whereas two-pathway models exhibit higher accuracy. To leverage both strengths, we present the Spatial-Assistant Encoder-Decoder Network (SANet) to fuse the two architectures. In the overall architecture, we uphold the encoder-decoder design while maintaining the feature maps in the middle section of the encoder and utilizing atrous convolution branches for same-resolution feature extraction. Toward the end of the encoder, we integrate the asymmetric pooling pyramid pooling module (APPPM) to optimize the semantic extraction of the feature maps. This module incorporates asymmetric pooling layers that extract features at multiple resolutions. In the decoder, we present a hybrid attention module, SAD, that integrates horizontal and vertical attention to facilitate the combination of various branches. To ascertain the effectiveness of our approach, our SANet model achieved competitive results on the real-time CamVid and cityscape datasets. By employing a single 2080Ti GPU, SANet achieved a 78.4 % mIOU at 65.1 FPS on the Cityscape test dataset and 78.8 % mIOU at 147 FPS on the CamVid test dataset. The training code and model for SANet are available at https://github.com/CuZaoo/SANet-main

연구 동기 및 목표

• 실시간 시맨틱 세그멘테이션의 정확도와 속도 사이의 균형을 목표로 한다.
• 인코더-디코더와 두-pathway 개념을 융합하는 하이브리드 아키텍처를 개발한다.
• 속도를 희생하지 않으면서 공간 정보와 다중 스케일 컨텍스트를 보존하기 위한 모듈을 도입한다.
• Cityscapes와 CamVid 데이터셋에서 경쟁력 있는 성능을 입증한다.

제안 방법

• SANet을 기본 인코더-디코더 백본과 공간 Dilated Path를 도입하여 고해상도 피처를 유지한다.
• APPPM (Asymmetric Pooling Pyramid Pooling Module)을 인코더 쪽에 도입하여 비대칭 풀링 형태와 포스트풀링 1x1 컨볼루션으로 다중 스케일 컨텍스트를 캡처한다.
• SAD (Simple Attention Decoder)를 설계하여 비대칭 1x3 및 3x1 컨볼루션을 통해 학습된 수평 및 수직 어텐션으로 고해상도와 저해상도 피처를 융합한다.
• 하나의 경량 디코더를 사용하여 속도를 보존하면서 다중 가지 시맨틱 정보를 활용한다.
• ImageNet 프리트레이닝 후 세그멘테이션 트레이닝으로 학습하고, 폴리 학습률 정책과 보조/경계 손실을 감독에 채택한다.

실험 결과

연구 질문

• RQ1 혼합형 SANet 아키텍처가 실시간 시맨틱 세그먼테이션에서 순수 인코더-디코더나 두-path 모델을 능가할 수 있는가?
• RQ2 APPPM이 표준 PPM/ASPP 접근법에 비해 다중 스케일 컨텍스트 특징 추출을 개선하는가?
• RQ3 Simple Attention Decoder가 고해상도와 저해상도 피처를 효과적으로 융합하여 mIoU를 개선하고 FPS를 해치지 않는가?
• RQ4 Cityscapes와 CamVid에서 SANet의 정확도와 추론 속도 측면의 비교 성능은 어떠한가?

주요 결과

• SANet은 Cityscapes와 CamVid에서 높은 FPS로 경쟁력 있는 mIoU를 달성(예: Cityscapes: 78.4 mIoU at 65.1 FPS; CamVid: 78.8 mIoU at 147 FPS on test sets).
• APPPM은 표준 풀링 기반 모듈보다 개선된 다중 스케일 피처 추출을 제공하여 더 높은 mIoU를 달성(절단 연구에서 APPPM이 PPM을 능가하는 것으로 나타남).
• SAD는 수평 및 수직 어텐션을 통해 여러 가지 가지의 피처를 효과적으로 융합하여 정보 손실을 줄이고 정확도를 높인다.
• 절단 연구에서 APPPM과 SAD의 조합은 mIoU 측면에서 기준 인코더-브랜치 접근법보다 우수하고 실시간 속도를 유지한다.