[논문 리뷰] Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation

Hyeongjun Kwon, Somi Jeong외 2명|ArXiv.org|2021. 11. 09.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 소수의 샘플로도 일반화 능력을 높이기 위해 이중 프로토타입 대비 학습(DPCL)을 제안한다. 클래스별 및 클래스에 관계없는 대비 손실를 동시에 최적화하여 클래스 간 분리도를 향상시키고 클래스 내 응집도를 강화함으로써 특징 표현을 향상시킨다. 이 방법은 PASCAL-5i 및 COCO-20i 벤치마크에서 최신 기술 수준을 기록하며, 추가 디코더 모듈 없이도 1-shot 설정에서 기존 방법 대비 최대 10.5% 향상된 mIoU 성능을 달성한다.

ABSTRACT

We address the problem of few-shot semantic segmentation (FSS), which aims to segment novel class objects in a target image with a few annotated samples. Though recent advances have been made by incorporating prototype-based metric learning, existing methods still show limited performance under extreme intra-class object variations and semantically similar inter-class objects due to their poor feature representation. To tackle this problem, we propose a dual prototypical contrastive learning approach tailored to the FSS task to capture the representative semanticfeatures effectively. The main idea is to encourage the prototypes more discriminative by increasing inter-class distance while reducing intra-class distance in prototype feature space. To this end, we first present a class-specific contrastive loss with a dynamic prototype dictionary that stores the class-aware prototypes during training, thus enabling the same class prototypes similar and the different class prototypes to be dissimilar. Furthermore, we introduce a class-agnostic contrastive loss to enhance the generalization ability to unseen classes by compressing the feature distribution of semantic class within each episode. We demonstrate that the proposed dual prototypical contrastive learning approach outperforms state-of-the-art FSS methods on PASCAL-5i and COCO-20i datasets. The code is available at:https://github.com/kwonjunn01/DPCL1.

연구 동기 및 목표

• 극한의 클래스 내 변동성과 의미적으로 유사한 클래스 간 객체 존재 시 소수의 샘플로도 일반화 능력이 제한된 소수의 의미적 세그멘테이션(FSS) 문제 해결
• 임bedding 공간 내에서 클래스 내 응집도를 높이고 클래스 간 프로토타입을 분리시키기 위해 특징 표현 향상
• 기존 프로토타입 기반 방법의 학습된 클래스에 대한 과적합 경향을 완화하기 위해 일반화 인식 대비 학습 도입
• 복잡한 추론 시 모듈을 추가하지 않고도 성능을 향상시킬 수 있는 경량 프레임워크 개발

제안 방법

• 에피소드 기반으로 클래스 프로토타입의 모멘텀 기반 이동 평균을 유지하는 동적 프로토타입 사전를 활용한 클래스별 대비 손실 도입
• 동적 프로토타입 사전를 음성 샘플의 큐로 활용하여 클래스 간 분리도와 클래스 내 응집도 강화
• 각 에피소드 내에서 대상 클래스의 특징 분포를 압축하는 클래스에 관계없는 대비 손실 제안으로, 미리 보지 않은 클래스에 대한 강건성 향상
• ResNet-50의 l2, l3, l4 레이어에서 유도된 다층 특징 융합이 의미적 및 공간적 표현을 향상시켜 더 나은 세그멘테이션 성능 달성
• 백본을 수정하거나 추론 시 모듈을 추가하지 않고도 프로토타입 수준에서 대비 학습을 적용하여 클래스 임베딩을 정교화
• t-SNE 시각화를 통해 DPCL이 임베딩 공간에서 더 응집되고 잘 분리된 프로토타입 분포를 생성함을 확인

실험 결과

연구 질문

• RQ1 클래스별 및 클래스에 관계없는 대비 학습을 동시에 최적화하면 소수의 샘플로도 의미적 세그멘테이션에서 특징의 분류 능력이 향상되는가?
• RQ2 기본 프로토타입 기반 방법과 비교해 이중 대비 학습은 어떻게 새로운 클래스로의 일반화 능력을 향상시키는가?
• RQ3 다층 특징 융합은 저샷 설정에서 세그멘테이션 정확도 향상에 얼마나 기여하는가?
• RQ4 동적 프로토타입 사전는 에피소드 학습 중 대비 학습을 위한 대규모 음성 메모리로 효과적으로 기능하는가?

주요 결과

• PASCAL-5i에서 DPCL은 1-way 1-shot 설정에서 53.39%의 mIoU를 기록하며, 기준 모델 대비 3.7% 향상되었고, 이는 이전의 방법들보다도 크게 앞서는 성능이다.
• PASCAL-5i의 5-shot 설정에서 DPCL은 추가로 레이블이 없는 데이터를 사용하지 않더라도 PANet 기준으로 약 4% 향상된 mIoU 성능을 달성했다.
• COCO-20i에서 DPCL은 1-shot 설정에서 이전 최고 성능 기준으로 10.5% 향상된 mIoU를 기록했고, 5-shot 설정에서는 6.1% 향상되었다.
• 절단 실험 결과, 클래스별 및 클래스에 관계없는 대비 손실를 모두 조합할 경우 성능 향상이 가장 크게 나타나 기준 모델 대비 3.7% 향상되었다.
• t-SNE 시각화 결과 DPCL이 기준 모델보다 더 응집되고 잘 분리된 프로토타입 분포를 생성함을 확인했으며, 이는 향상된 특징 분류 능력을 뒷받침한다.
• l2, l3, l4 레이어의 다층 특징 융합이 가장 높은 성능을 기록했으며, 저수준 특징과 고수준 의미적 특징을 융합하는 것이 유익함을 입증했다.