[논문 리뷰] AlignSeg: Feature-Aligned Segmentation Networks

Zilong Huang, Yunchao Wei외 4명|arXiv (Cornell University)|2020. 02. 24.

Advanced Neural Network Applications참고 문헌 54인용 수 8

한 줄 요약

이 논문은 다중 해상도 특징 집합과 문맥 특징 융합에서 발생하는 특징 오차정렬 문제를 해결하는 새로운 의미적 세그멘테이션 네트워크인 AlignSeg를 제안한다. Aligned Feature Aggregation (AlignFA) 및 Aligned Context Modeling (AlignCM) 모듈에 학습 가능한 2차원 변환 오프셋을 도입함으로써, AlignSeg는 Cityscapes에서 82.6% mIoU, ADE20K에서 45.95% mIoU를 기록하며 최신 기준 성능을 달성한다.

ABSTRACT

Aggregating features in terms of different convolutional blocks or contextual embeddings has been proven to be an effective way to strengthen feature representations for semantic segmentation. However, most of the current popular network architectures tend to ignore the misalignment issues during the feature aggregation process caused by 1) step-by-step downsampling operations, and 2) indiscriminate contextual information fusion. In this paper, we explore the principles in addressing such feature misalignment issues and inventively propose Feature-Aligned Segmentation Networks (AlignSeg). AlignSeg consists of two primary modules, i.e., the Aligned Feature Aggregation (AlignFA) module and the Aligned Context Modeling (AlignCM) module. First, AlignFA adopts a simple learnable interpolation strategy to learn transformation offsets of pixels, which can effectively relieve the feature misalignment issue caused by multiresolution feature aggregation. Second, with the contextual embeddings in hand, AlignCM enables each pixel to choose private custom contextual information in an adaptive manner, making the contextual embeddings aligned better to provide appropriate guidance. We validate the effectiveness of our AlignSeg network with extensive experiments on Cityscapes and ADE20K, achieving new state-of-the-art mIoU scores of 82.6% and 45.95%, respectively. Our source code will be made available.

연구 동기 및 목표

• CNN에서 단계적 다운샘플링으로 인해 발생하는 특징 오차정렬 문제를 다중 해상도 특징 집합 과정에서 지속적으로 해결하기 위해.
• 일반적인 문맥 특징 융합의 한계를 극복하기 위해 적응형으로, 픽셀별로 특별히 선택된 문맥 정보를 가능하게 하기 위해.
• 고해상도 및 저해상도 특징의 정밀한 공간 정렬을 통해 의미적 세그멘테이션의 경계 예측 정확도를 향상시키기 위해.
• 특징 집합과 문맥 모델링에 모두 학습 가능한 정렬을 통합함으로써 기준 데이터셋에서 최신 기준 성능을 달성하기 위해.
• COCO에서 Mask R-CNN에 AlignFA 모듈를 적용하여 개체 세그멘테이션으로의 일반화를 입증하기 위해.

제안 방법

• 저해상도 및 고해상도 특징 맵에 대해 각각 2D 변환 오프셋을 예측하기 위해 두 개의 학습 가능한 컨볼루션 커널을 사용하는 Aligned Feature Aggregation (AlignFA) 모듈을 제안한다.
• 학습된 오프셋을 적용하여 공간적으로 적응형 보간을 수행함으로써, 융합 이전에 특징을 정렬하여 다운샘플링으로 인한 오차정렬을 감소시킨다.
• 각 픽셀 기반으로 국소 특징와 문맥 특징을 정렬하기 위해 학습 가능한 오프셋을 갖춘 풀링 기반의 문맥 집합 모델링을 적용하는 Aligned Context Modeling (AlignCM) 모듈을 도입한다.
• 예측된 오프셋을 통한 정밀한 공간 정렬을 통해 고해상도 및 저해상도 특징을 정렬된 방식으로 결합하기 위해 바닥에서부터 특징 집합 아키텍처를 사용한다.
• 표준 교차 엔트로피 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시키며, 정렬 및 세그멘테이션 목표를 동시에 최적화한다.
• 개체 세그멘테이션을 위해 Mask R-CNN에 AlignFA 모듈를 적응시켜 표준 FPN 업샘플링을 학습 가능한 오프셋 기반 정렬로 대체한다.

실험 결과

연구 질문

• RQ1 학습 가능한 특징 정렬이 경계 영역에서 의미적 세그멘테이션 성능을 어떻게 향상시키는가?
• RQ2 공간적으로 정렬된 문맥 특징을 사용한 적응형 문맥 모델링이 복잡한 시나리오에서 오분류를 얼마나 줄일 수 있는가?
• RQ3 학습 가능한 오프셋 기반 정렬 메커니즘이 다중 해상도 특징 융합에서 표준 보간보다 우수한 성능을 낼 수 있는가?
• RQ4 제안된 정렬 메커니즘이 의미적 세그멘테이션을 넘어서 다른 조밀한 예측 작업, 예를 들어 개체 세그멘테이션으로 일반화되는가?
• RQ5 정렬된 특징 집합과 문맥 모델링의 조합이 표준 기준 데이터셋에서 기존 최신 기준 아키텍처와 비교해 어떻게 성능을 냈는가?

주요 결과

• AlignSeg는 Cityscapes 테스트 세트에서 82.6% mIoU를 기록하며 새로운 최신 기준 성능을 달성했다.
• ADE20K 검증 세트에서 AlignSeg는 45.95% mIoU를 기록하여 이전 최고 성능인 ACNet의 45.90%를 초월했다.
• 제거 분석 결과, AlignFA와 AlignCM 모두 경계 영역 예측 성능 향상에 크게 기여하는 것으로 확인되었다.
• 시각화 결과는 학습된 오프셋 맵이 특히 객체 경계에서 공간 오차정렬을 효과적으로 보정함을 보여주었다.
• COCO에서 Mask R-CNN에 적용했을 때, AlignFA 모듈은 마스크 AP를 35.9에서 37.2로 향상시켰다.
• 모델은 다양한 데이터셋과 작업에서 일관된 향상과 강건성, 일반화 능력을 보였다.