[논문 리뷰] Generalized Few-shot Semantic Segmentation

Zhuotao Tian, Xin Lai외 5명|arXiv (Cornell University)|2020. 10. 11.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 추론 시 지원 이미지가 필요하지 않고 기초 클래스와 신규 클래스를 동시에 세분화할 수 있도록 평가하는 새로운 벤치마크인 일반화된 소수 샘플 세분화(GFS-Seg)를 소개한다. 또한 공존 우선순위와 질의 조건에 따라 적응하는 동적 맥락 정보를 활용하여 특징 정렬을 향상시키는 컨텍스트 인식 프로토타입 학습(CAPL)을 제안하며, 최소한의 구조적 변경으로 GFS-Seg 및 표준 FS-Seg 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Training semantic segmentation models requires a large amount of finely annotated data, making it hard to quickly adapt to novel classes not satisfying this condition. Few-Shot Segmentation (FS-Seg) tackles this problem with many constraints. In this paper, we introduce a new benchmark, called Generalized Few-Shot Semantic Segmentation (GFS-Seg), to analyze the generalization ability of simultaneously segmenting the novel categories with very few examples and the base categories with sufficient examples. It is the first study showing that previous representative state-of-the-art FS-Seg methods fall short in GFS-Seg and the performance discrepancy mainly comes from the constrained setting of FS-Seg. To make GFS-Seg tractable, we set up a GFS-Seg baseline that achieves decent performance without structural change on the original model. Then, since context is essential for semantic segmentation, we propose the Context-Aware Prototype Learning (CAPL) that significantly improves performance by 1) leveraging the co-occurrence prior knowledge from support samples, and 2) dynamically enriching contextual information to the classifier, conditioned on the content of each query image. Both two contributions are experimentally shown to have substantial practical merit. Extensive experiments on Pascal-VOC and COCO manifest the effectiveness of CAPL, and CAPL generalizes well to FS-Seg by achieving competitive performance. Code is available at https://github.com/dvlab-research/GFS-Seg.

연구 동기 및 목표

• 소수 샘플 세분화(FS-Seg)의 실용적 한계를 해결하기 위해 추론 시 지원 이미지가 필요로 하는 문제를 해결하고, 기초 클래스를 동시에 처리할 수 있도록 하기 위해.
• 추론 시 지원 입력이 없이도 기초 클래스와 신규 클래스를 동시에 평가할 수 있는 새로운 벤치마크인 일반화된 소수 샘플 세분화(GFS-Seg)를 제안하기 위해.
• 최근 SOTA FS-Seg 방법들이 GFS-Seg 설정에서 실패하는 이유를 분석하기 위해.
• 기존 구조적 변경 없이 GFS-Seg 및 표준 FS-Seg 모두에서 성능을 향상시킬 수 있는 일반 목적의 방법인 컨텍스트 인식 프로토타입 학습(CAPL)을 개발하기 위해.

제안 방법

• 기초 클래스 학습, 소수 샘플을 이용한 신규 클래스 등록, 추론 시 지원 입력 없이 기초 및 신규 클래스를 동시에 평가하는 세 단계로 구성된 GFS-Seg용 파이프라인을 제안한다.
• 기존 아키텍처를 유지하면서도 신규 클래스 등록 단계만 추가한 GFS-Seg용 베이스라인 모델을 제안한다.
• 지원 샘플에서 유도된 공존 우선순위를 활용하여 특징 정렬을 향상시키기 위해 컨텍스트 인식 프로토타입 학습(CAPL)을 설계한다.
• 질의 이미지 콘텐츠에 따라 기초 프로토타입을 적응적으로 개선하기 위해 훈련 가능한 두 층의 MLP를 사용하여 컨텍스트 인식 감마 벡터를 생성한다.
• 질의에 의존하는 특징을 활용하여 추론 중에 분류기 가중치를 동적으로 조정함으로써 맥락적 정보를 강화한다.
• PANet, PFENet, DeepLab과 같은 기존 세분화 모델에 구조적 수정 없이 CAPL을 통합한다.

실험 결과

연구 질문

• RQ1 최근 SOTA 소수 샘플 세분화(FS-Seg) 모델들이 일반화된 소수 샘플 설정(GFS-Seg)에서 실패하는 이유는 무엇인가?
• RQ2 추론 시 지원 샘플이 필요 없이 기초 클래스와 신규 클래스를 동시에 효과적으로 세분화할 수 있는 통합 모델이 가능한가?
• RQ3 지원 샘플과 질의 이미지의 맥락 정보를 어떻게 활용하여 소수 샘플 세분화에서 프로토타입 학습을 향상시킬 수 있는가?
• RQ4 질의 조건에 따라 동적으로 프로토타입을 적응시키는 방식이 GFS-Seg 및 표준 FS-Seg 양쪽에서 성능 향상에 얼마나 기여하는가?
• RQ5 CAPL과 같은 방법이 아키텍처 재설계 없이 다양한 백본 아키텍처와 데이터셋에 일반화될 수 있는가?

주요 결과

• 제안된 GFS-Seg 벤치마크는 최근 SOTA FS-Seg 모델들조차도 설계상의 본질적 제약로 인해 일반화 설정에서 성능이 떨어지는 것으로 드러났다.
• Pascal-VOC 5-shot에서 베이스라인 모델에 대해 CAPL이 1.5–2.5 mIoU 향상되었고, COCO-20 i 5-shot에서는 1.5–2.0 mIoU 향상되어 뚜렷한 성능 향상을 보였다.
• COCO-20 i에서 Res-101 백본을 사용할 경우 CAPL은 1-shot 시 47.3 mIoU, 5-shot 시 50.4 mIoU를 기록하여 이전 방법들을 초월했다.
• 표준 FS-Seg 설정에서 CAPL은 PFENet의 성능을 1-shot 시 2.5 mIoU, 5-shot 시 2.1 mIoU 향상시켜 최고 성능을 달성했다.
• 절단 분석 결과, 훈련 정렬(CAPL-Tr)과 맥락 강화(CAPL-Te) 모두 필수적임을 확인하였으며, 두 요소의 조합이 최적의 성능을 낳는다.
• CAPL은 ResNet-50 및 ResNet-101을 포함한 다양한 모델과 백본 아키텍처로도 잘 일반화되며, 원본 모델과 거의 동일한 추론 속도를 유지한다.