Skip to main content
QUICK REVIEW

[논문 리뷰] MSANet: Multi-Similarity and Attention Guidance for Boosting Few-Shot Segmentation

Ehtesham Iqbal, Sirojbek Safarov|arXiv (Cornell University)|2022. 06. 20.
Domain Adaptation and Few-Shot LearningComputer Science인용 수 27
한 줄 요약

MSANet은 다중-유사성 모듈과 주의 모듈을 도입하여 몇-shot 분할을 향상시키고, 다층 시각적 대응과 타깃 주의에 기반해 표준 벤치마크에서 최첨단 결과를 달성한다.

ABSTRACT

Few-shot segmentation aims to segment unseen-class objects given only a handful of densely labeled samples. Prototype learning, where the support feature yields a singleor several prototypes by averaging global and local object information, has been widely used in FSS. However, utilizing only prototype vectors may be insufficient to represent the features for all training data. To extract abundant features and make more precise predictions, we propose a Multi-Similarity and Attention Network (MSANet) including two novel modules, a multi-similarity module and an attention module. The multi-similarity module exploits multiple feature-maps of support images and query images to estimate accurate semantic relationships. The attention module instructs the network to concentrate on class-relevant information. The network is tested on standard FSS datasets, PASCAL-5i 1-shot, PASCAL-5i 5-shot, COCO-20i 1-shot, and COCO-20i 5-shot. The MSANet with the backbone of ResNet-101 achieves the state-of-the-art performance for all 4-benchmark datasets with mean intersection over union (mIoU) of 69.13%, 73.99%, 51.09%, 56.80%, respectively. Code is available at https://github.com/AIVResearch/MSANet

연구 동기 및 목표

  • Prototype 기반 가이드라인을 넘어서 더 풍부한 시각적 대응을 도입함으로써 몇-shot 분할의 성능 향상을 고무한다.
  • 지원 이미지와 질의 이미지 사이의 다양한 맥락 정보를 포착하기 위해 다층 특징 상관관계를 활용한다.
  • 적은 수의 지원 샘플을 사용하여 클래스 관련 영역에 초점을 맞추는 효율적인 주의 메커니즘을 도입한다.
  • 제안된 모듈을 기반 학습자/앙상블 학습자 프레임워크와 통합해 분할 결과를 개선한다.
  • 다양한 백본에서 표준 FSS 벤치마크에 대한 최첨단 성능을 입증한다.

제안 방법

  • 두 가지 가이드 모듈을 도입한다: 지원 및 질의 이미지 간의 밀도 높은 시각적 대응을 위한 다층 유사성 모듈과 타깃 클래스 콘텐츠를 강조하는 경량 주의 모듈.
  • 다층 백본 특징(블록 2–4) 간 코사인 유사도를 계산하여 교차 이미지 대응을 형성하고, 이어서 1x1 컨볼루션으로 특징을 융합한다.
  • 해당 마스크를 사용해 지원 특징을 마스크로 마스킹하고 압축하여 배경 노이즈를 줄이고 견고한 시각적 대응 맵을 형성한다.
  • 연결된 중간 지지/질의 특징을 단순한 1x1 컨볼루션 블록과 풀링 기반 주의 파이프라인을 통해 주의 특성 맵으로 생성한다.
  • 다층 유사성 맵, 주의 맵, 사전 마스크, 클래스 프로토타입 벡터를 ASPP 기반 특징 강화 모듈에서 융합한 뒤, 작은 분류기 헤드를 통해 이진 분할 마스크를 예측한다.
  • 기본 학습자(PSPNet 유사)와 정제용 앙상블 모듈로 최종 예측을 향상시킨다.
  • 에피소드별 이진 교차 엔트로피 손실로 학습하며 표준 메타 학습 프로토콜을 따르고, K-shot 설정에 대해 선택적으로 평균화를 적용한다.

실험 결과

연구 질문

  • RQ1Can using multi-layer visual correspondences between support and query images improve segmentation accuracy in few-shot settings?
  • RQ2Does a lightweight attention module guided by limited support data help suppress base-class biases and better isolate novel-class objects?
  • RQ3What is the impact of integrating multi-layer similarity and attention with a base learner/ensemble on overall FSS performance?
  • RQ4How do different backbone layers contribute to the quality of visual correspondence for FSS?
  • RQ5Is MSANet scalable to 1-shot and 5-shot settings on common FSS benchmarks (PASCAL-5i, COCO-20i) with various backbones?

주요 결과

  • MSANet은 1샷 및 5샷 설정에서 네 가지 FSS 벤치마크에서 최첨단 결과를 달성한다(Pascal-5i 및 COCO-20i).
  • ResNet101 백본으로 MSANet은 mIoU가 69.13%(Pascal-5i 1-shot) 및 73.99%(Pascal-5i 5-shot), 그리고 51.09%(COCO-20i 1-shot) 및 56.80%(COCO-20i 5-shot)에 도달한다.
  • 제외 연구(ablation)에서 다층 유사성 모듈과 주의 모듈이 가장 큰 이득을 제공하여 프로토타입 기반 베이스라인을 능가하고 새로운 최첨단 수준에 근접한다.
  • 두 모듈을 프로토타입 기반 요소(사전 마스크, 클래스 프로토타입 벡터) 및 기본 학습자 앙상블과 결합하면 최종 성능이 가장 좋다.
  • 시각화 결과는 대응에 저층, 중간층, 고층 피처를 결합하면 단일 레이어 접근보다 더 풍부한 가이드를 제공한다.
  • MSANet은 백본 선택(VGG16, ResNet50, ResNet101) 및 샷 설정에 대해 강건함을 보여준다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.