[논문 리뷰] Uncertainty-Aware Semi-Supervised Few Shot Segmentation

Soopil Kim, Philip Chikontwe외 1명|arXiv (Cornell University)|2021. 10. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 6

한 줄 요약

이 논문은 불확실성 추정을 통한 비지도 학습을 활용하여, 비지도 이미지에서 유의미한 가짜 레이블을 보정함으로써 프로토타입 기반 분할 성능을 향상시키는 불확실성 인식 비지도 Few-Shot 분할 방법을 제안한다. 가짜 레이블 생성 과정에서 높은 불확실성 예측을 필터링함으로써 모델은 더 견고한 전경 및 배경 프로토타입을 학습하게 되며, 추가 학습 없이 PASCAL-5i 및 COCO-20i 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Few shot segmentation (FSS) aims to learn pixel-level classification of a target object in a query image using only a few annotated support samples. This is challenging as it requires modeling appearance variations of target objects and the diverse visual cues between query and support images with limited information. To address this problem, we propose a semi-supervised FSS strategy that leverages additional prototypes from unlabeled images with uncertainty guided pseudo label refinement. To obtain reliable prototypes from unlabeled images, we meta-train a neural network to jointly predict segmentation and estimate the uncertainty of predictions. We employ the uncertainty estimates to exclude predictions with high degrees of uncertainty for pseudo label construction to obtain additional prototypes based on the refined pseudo labels. During inference, query segmentation is predicted using prototypes from both support and unlabeled images including low-level features of the query images. Our approach is end-to-end and can easily supplement existing approaches without the requirement of additional training to employ unlabeled samples. Extensive experiments on PASCAL-$5^i$ and COCO-$20^i$ demonstrate that our model can effectively remove unreliable predictions to refine pseudo labels and significantly improve upon state-of-the-art performances.

연구 동기 및 목표

• 소수의 지원 데이터로 인해 발생하는 성능 저하 문제를 해결하기 위해, 지원 이미지와 쿼리 이미지 간의 외관 변동성 및 분포 이탈이 성능에 악영향을 미치는 문제를 다룬다.
• 비지도 이미지를 활용하여 추가로 신뢰할 수 있는 프로토타입을 생성함으로써 프로토타입 기반 소수 분할 성능을 향상시키기 위한 방법을 제시한다.
• 가짜 레이블의 노이즈 또는 과도한 자신감이 비지도 FSS 성능에 악영향을 미치는 문제를 완화하기 위해, 가짜 레이블 보정 과정에 불확실성 추정을 통합한다.
• 추가 학습 또는 미세조정 단계 없이도 비지도 데이터를 통합할 수 있는 엔드 투 엔드 학습을 가능하게 한다.

제안 방법

• 신경망을 사용하여 출력 분포에 대해 정규분포를 가정하고, 각 픽셀에 대해 분할 마스크를 동시에 예측하고 불확실성(분산)을 추정한다.
• 가짜 레이블 생성 과정에서 불확실성 추정치를 활용해 높은 불확실성 예측을 필터링하고, 높은 평균, 낮은 불확실성 예측만 유지한다.
• 보정된 가짜 레이블을 사용해 비지도 이미지에서 추가적인 전경 및 배경 프로토타입을 추출함으로써 프로토타입 집합을 풍부화시킨다.
• 추론 단계에서는 지원 집합 프로토타입과 새로 확보한 비지도 프로토타입, 그리고 저수준 쿼리 특징을 모두 통합하여 분할 정확도를 향상시킨다.
• 불확실성 추정 모듈을 기본 FSS 모델에 엔드 투 엔드로 통합하여 재학습 없이도 즉시 통합이 가능하도록 한다.
• 모델은 쿼리 특징과 가짜 레이블이 부여된 비지도 이미지를 처리하여 향상된 프로토타입을 생성하는 보정 모듈 R을 사용한다.

Figure 1: Proposed uncertainty-aware FSS model training strategy. Blue box shows a detail of uncertainty estimation module.

실험 결과

연구 질문

• RQ1 비지도 이미지에서 생성된 가짜 레이블의 신뢰성을 불확실성 추정이 향상시킬 수 있는가?
• RQ2 가짜 레이블 제작 과정에서 높은 불확실성 예측을 필터링하는 것이 학습된 프로토타입의 품질과 분할 성능에 어떤 영향을 미치는가?
• RQ3 불확실성 인식 보정을 통해 비지도 데이터에서 유도된 추가 프로토타입이 소수 분할 성능을 크게 향상시킬 수 있는가?
• RQ4 제안된 방법은 추가 학습 없이 다양한 백본 및 벤치마크에 일반화 가능한가?

주요 결과

• ResNet-50 기반 PASCAL-5i에서 제안된 방법은 1-shot 평균 IoU 31.1과 5-shot 평균 IoU 41.0을 기록하여 기준 모델 PPNet* 대비 각각 +2.2%와 +2.5% 향상된 성능을 달성했다.
• COCO-20i에서 모델은 1-shot 평균 IoU 32.8과 5-shot 평균 IoU 43.9를 기록하며, 특히 5-shot 설정에서 새로운 최고 기록을 수립했다.
• COCO-20i에서 1-shot 이진 IoU가 최고를 기록하여 어려운 양성 예제에 대해 뛰어난 성능을 보였다.
• 정성적 결과에서는 불확실성 필터링이 잘못된 활성화(예: 다리 부분을 전경으로 잘못 분류)를 억제하여 가짜 레이블 품질을 향상시켰다.
• t-SNE 시각화 결과, 비지도 이미지에서 유도된 프로토타입이 특징 공간에서 더 잘 정렬된 표현을 제공함을 확인했으며, 이는 결정 경계를 개선시켰다.
• 비지도 이미지의 수가 증가함에 따라 일관된 성능 향상이 관찰되어 데이터 스케일에 대한 강건성을 입증했다.

Figure 2: Overview of the proposed semi-supervised FSS inference strategy. Blue box shows a detail of refinement module.