[논문 리뷰] Cross-domain Few-shot Segmentation with Transductive Fine-tuning

Yuhang Lu, Xinyi Wu외 2명|arXiv (Cornell University)|2022. 11. 27.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 자연, 원격 감시 및 의료 영상과 같은 다양한 도메인 간의 소수 샘플 분할 성능을 향상시키기 위해 지원 레이블을 이용한 암묵적 지도 학습을 통해 미분류된 쿼리 이미지를 간접적으로 지도하는 전도적 미세조정 방법을 제안한다. 클래스별 프로토타입을 불확실성 인식 기반의 대비 손실을 통해 정렬하고, 이와 함께 지도 학습 및 경계 정규화를 결합함으로써 자연, 원격 감시, 의료 영상 간의 도메인 갭을 효과적으로 해소하여 추가 애너테이션 없이도 성능을 크게 향상시킨다.

ABSTRACT

Few-shot segmentation (FSS) expects models trained on base classes to work on novel classes with the help of a few support images. However, when there exists a domain gap between the base and novel classes, the state-of-the-art FSS methods may even fail to segment simple objects. To improve their performance on unseen domains, we propose to transductively fine-tune the base model on a set of query images under the few-shot setting, where the core idea is to implicitly guide the segmentation of query images using support labels. Although different images are not directly comparable, their class-wise prototypes are desired to be aligned in the feature space. By aligning query and support prototypes with an uncertainty-aware contrastive loss, and using a supervised cross-entropy loss and an unsupervised boundary loss as regularizations, our method could generalize the base model to the target domain without additional labels. We conduct extensive experiments under various cross-domain settings of natural, remote sensing, and medical images. The results show that our method could consistently and significantly improve the performance of prototypical FSS models in all cross-domain tasks.

연구 동기 및 목표

• 기본 학습 데이터와 다른 도메인에서 온 새로운 클래스가 등장할 경우 소수 샘플 분할 모델의 성능 저하 문제를 해결한다.
• 적응 과정에 분류되지 않은 쿼리 이미지를 통합하여 소수 샘플 미세조정에서의 과적합 문제를 완화한다.
• 지원 레이블의 암묵적 지도 학습을 통해 프로토타입 기반 FSS 모델의 일반화 성능을 향상시켜 미리 보지 않은 도메인에 적용 가능하게 한다.
• 라벨된 지원 이미지와 라벨되지 않은 쿼리 이미지를 모두 활용하여 도메인 간 특징 프로토타입을 정렬하는 준지도 미세조정 전략을 개발한다.
• 자연, 원격 감시, 의료 영상 등 다양한 도메인에서의 성능을 검증하여 방법의 유효성을 입증한다.

제안 방법

• 전이 학습된 프로토타입 기반 FSS 모델을 전도적 설정에서 지원(라벨된) 및 쿼리(라벨이 없는) 이미지의 조합에 대해 미세조정한다.
• 기본 모델을 사용해 특징을 추출하고, 특징 공간에서 클러스터링을 통해 세분화된 프로토타입을 생성한다.
• 클래스별 표현을 대비함으로써 쿼리와 지원 프로토타입을 정렬하기 위해 불확실성 인식 기반의 대비 손실을 도입한다.
• 노이즈가 있거나 모호한 쿼리 프로토타입의 영향을 줄이기 위해 불확실성 요소를 활용해 손실 가중치를 동적으로 조정한다.
• 지원 이미지에 대해 지도 학습의 교차 엔트로피 손실을 적용하고, 쿼리 마스크에 대해 비지도 경계 손실을 적용하여 분할 품질을 정규화한다.
• 대비, 교차 엔트로피, 경계 손실을 조합한 다목적 손실을 최적화하여 안정적이고 효과적인 적응을 달성한다.

실험 결과

연구 질문

• RQ1 기본 클래스와 새로운 클래스 사이에 도메인 이동이 발생할 경우 전도적 미세조정이 소수 샘플 분할 성능을 향상시킬 수 있는가?
• RQ2 지원 레이블의 암묵적 지도 학습이 미세조정 과정에서 분류되지 않은 쿼리 이미지의 분할을 얼마나 효과적으로 이끌 수 있는가?
• RQ3 불확실성 인식 기반의 프로토타입 정렬이 도메인 간 소수 샘플 분할에서 안정성과 일반화 성능을 향상시키는가?
• RQ4 제안된 방법은 표준 미세조정 및 기타 전도적 방법과 비교해 도메인 간 FSS 벤치마크에서 어떻게 성능을 내는가?
• RQ5 실세계 소수 샘플 분할 시나리오에서 지원 이미지 선택이 제안된 방법의 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 자연, 원격 감시, 의료 영상 등 테스트된 모든 도메인 간 설정에서 프로토타입 기반 FSS 모델의 성능을 크게 향상시킨다.
• PASCAL-5i 벤치마크에서, ResNet-50 특징 공간에서 클러스터 중심으로 선택된 대표 지원 이미지를 사용할 경우 평균 IoU가 61.2%에 도달한다.
• 지원 이미지 선택에 따라 성능이 크게 달라지며, 최고의 이미지를 선택할 경우 모든 클래스에서 최악의 이미지 대비 최대 49.4% 높은 IoU를 기록한다.
• 심층 특징 공간의 클러스터 중심을 대표 지원 이미지로 사용할 경우 랜덤 선택 대비 평균 IoU가 4.9% 향상된다.
• 도메인 간 소수 샘플 분할 작업에서 표준 지도 미세조정 및 기타 전도적 기반 모델보다 일관되게 뛰어난 성능을 보인다.
• 불확실성 인식 기반의 대비 손실은 노이즈가 있거나 모호한 쿼리 프로토타입의 영향을 효과적으로 줄여 모델의 안정성과 일반화 성능을 향상시킨다.