[논문 리뷰] Self-Support Few-Shot Semantic Segmentation

Qi Fan, Wenjie Pei외 2명|arXiv (Cornell University)|2022. 07. 23.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 자기 지원 소수 학습 세그멘테이션(Single-Support Few-Shot Semantic Segmentation, SSP)을 제안하며, 쿼리 특징을 사용해 자기 지원 프로토타입을 생성하여 매칭함으로써 내부 클래스 외형 불일치를 감소시켜 소수 학습 세그멘테이션 성능을 향상시킨다. Pascal VOC 및 FSS-1000에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 5샷 설정에서 각각 68.8% mIoU와 88.6% mIoU를 기록하여 이전 방법들에 비해 뚜렷한 성능 향상을 보였다.

ABSTRACT

Existing few-shot segmentation methods have achieved great progress based on the support-query matching framework. But they still heavily suffer from the limited coverage of intra-class variations from the few-shot supports provided. Motivated by the simple Gestalt principle that pixels belonging to the same object are more similar than those to different objects of same class, we propose a novel self-support matching strategy to alleviate this problem, which uses query prototypes to match query features, where the query prototypes are collected from high-confidence query predictions. This strategy can effectively capture the consistent underlying characteristics of the query objects, and thus fittingly match query features. We also propose an adaptive self-support background prototype generation module and self-support loss to further facilitate the self-support matching procedure. Our self-support network substantially improves the prototype quality, benefits more improvement from stronger backbones and more supports, and achieves SOTA on multiple datasets. Codes are at \url{https://github.com/fanq15/SSP}.

연구 동기 및 목표

• 소수 학습 지원 이미지에서 내부 클래스 변동성 커버리지가 부족하여 발생하는 소수 학습 세그멘테이션의 한계를 해결하기 위해.
• 쿼리 특징을 활용해 더 표현력 있는 프로토타입을 생성하여 지원 이미지와 쿼리 이미지 간의 외형 불일치를 감소시키기 위해.
• 고신뢰도 쿼리 예측에서 일관된 객체 특징을 포착하는 자기 지원 매칭을 도입하여 세그멘테이션 정확도를 향상시키기 위해.
• 더욱 정교한 세그멘테이션 성능을 향상시키기 위해 적응형 배경 프로토타입 생성 및 자기 지원 손실을 개발하기 위해.

제안 방법

• 초기 쿼리 예측의 고신뢰도 영역에서 생성된 쿼리 프로토타입을 사용해 쿼리 특징을 매칭하는 자기 지원 매칭 전략을 제안하며, 쿼리 자체로부터 자기 지원을 가능하게 한다.
• 각 쿼리 픽셀당 유사한 배경 픽셀을 동적으로 집계하는 적응형 자기 지원 배경 프로토타입(ASBP) 모듈을 도입하여 혼잡한 환경에서의 배경 세그멘테이션을 향상시킨다.
• 자기 지원 매칭 과정을 최적화하기 위해 자기 지원 손실(SSL)을 도입하여 특징 일관성과 세그멘테이션 품질을 향상시킨다.
• 학습 가능한 가중치(α₁=0.5, α₂=0.2, α₃=0.3)를 사용해 원본 지원 프로토타입, 자기 지원 프로토타입, 정제된 자기 지원 프로토타입을 융합하여 프로토타입을 정교화한다.
• 가중치 융합(β₁=0.3, β₂=0.7)을 통해 초도 예측과 정제된 매칭 출력을 융합하여 최종 세그멘테이션 마스크를 향상시킨다.
• 정제된 프로토타입과 쿼리 특징 간의 코사인 유사도를 사용해 최종 세그멘테이션 예측을 생성한다.

실험 결과

연구 질문

• RQ1 쿼리 특징을 사용해 고정된 지원 프로토타입보다 더 표현력 있는 프로토타입을 생성할 수 있는가? 이는 내부 클래스 변동성을 더 잘 포착할 수 있는가?
• RQ2 쿼리에서 생성된 프로토타입을 기반으로 한 자기 지원 매칭은 기존의 지원-쿼리 매칭과 비교해 외형 불일치를 어떻게 더 잘 다루는가?
• RQ3 적응형 배경 프로토타입 생성은 전역 배경 의미가 일관되지 않은 복잡하고 혼잡한 환경에서 세그멘테이션 성능을 향상시킬 수 있는가?
• RQ4 자기 지원 손실이 프로토타입 품질과 세그멘테이션 정확도를 어느 정도 향상시키는가?
• RQ5 자기 지원 프레임워크는 더 강력한 백본과 더 많은 지원 샷 수에서 더 잘 스케일업되는가?

주요 결과

• 제안된 SSP 방법은 5샷 설정에서 Pascal VOC에서 68.8% mIoU를 달성하여 베이스라인 대비 +4.0% 향상된 성능을 보였다.
• FSS-1000 데이터셋에서는 5샷 설정에서 88.6% mIoU를 기록하여 이전 최신 기술 수준(SOTA) 방법들을 능가했다.
• 자기 지원 정제 단계를 통해 FSS-1000 5샷 설정에서 mIoU가 88.6%로 추가로 향상되어 반복적 프로토타입 정제의 효과를 입증했다.
• 더 강력한 백본(예: ResNet-101)과 더 높은 지원 샷 수에서 성능 향상이 더 두드러져 스케일러빌리티를 보였다.
• 정성적 결과에서는 지원 이미지와 쿼리 이미지 간에 큰 외형 변화가 있는 객체(예: 다양한 색상과 크기의 고양이)를 세그멘테이션하는 데서 뚜렷한 향상이 관찰되었다.
• 자기 지원 매칭 메커니즘이 프로토타입 일관성이 높아지면서, 지원 이미지와 쿼리 이미지 간 시각적 유사도가 낮은 경우에도 전체 객체를 성공적으로 세그멘테이션했다.