[논문 리뷰] CRNet: Cross-Reference Networks for Few-Shot Segmentation

Weide Liu, Chi Zhang외 2명|arXiv (Cornell University)|2020. 03. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 19

한 줄 요약

CRNet는 소수의 예시로 이미지 세그멘테이션을 수행하기 위해 대칭적 상호참조 네트워크를 제안한다. 이는 지원 이미지와 쿼리 이미지 양쪽에서 마스크를 동시에 예측하며, 상호작용하는 특징을 통해 상호참조 모듈을 활용하고, 신뢰도 캐시를 이용한 반복적 마스크 정밀화 모듈을 통해 예측 성능을 햖थ한다. 이 방법은 PASCAL VOC 2012에서 최신 기술 수준을 달성하였으며, 특히 5샷 설정에서 이전 방법들보다 최대 8.4 mIoU 높은 성능을 기록하였다. 다수의 지원 이미지를 사용한 미세조정 시 성능 향상이 뚜렷했다.

ABSTRACT

Over the past few years, state-of-the-art image segmentation algorithms are based on deep convolutional neural networks. To render a deep network with the ability to understand a concept, humans need to collect a large amount of pixel-level annotated data to train the models, which is time-consuming and tedious. Recently, few-shot segmentation is proposed to solve this problem. Few-shot segmentation aims to learn a segmentation model that can be generalized to novel classes with only a few training images. In this paper, we propose a cross-reference network (CRNet) for few-shot segmentation. Unlike previous works which only predict the mask in the query image, our proposed model concurrently make predictions for both the support image and the query image. With a cross-reference mechanism, our network can better find the co-occurrent objects in the two images, thus helping the few-shot segmentation task. We also develop a mask refinement module to recurrently refine the prediction of the foreground regions. For the $k$-shot learning, we propose to finetune parts of networks to take advantage of multiple labeled support images. Experiments on the PASCAL VOC 2012 dataset show that our network achieves state-of-the-art performance.

연구 동기 및 목표

• 소수의 레이블이 부여된 예시로만 새로운 카테고리에 일반화할 수 있는 소수의 이미지 세그멘테이션 문제를 해결하기 위해.
• 이전 방법들이 지원 이미지만을 사용해 쿼리 이미지 세그멘테이션을 유도하는 단방향 가이던스의 한계를 극복하기 위해.
• 지원 이미지와 쿼리 이미지 간의 상호 정밀화를 통해 대칭적 아키텍처를 통해 마스크 예측 정확도를 향상시키기 위해.
• 신뢰도 캐시를 기반으로 한 반복적 마스크 정밀화 메커니즘을 개발하여 예측 성능을 향상시키기 위해.
• 특징 또는 마스크 융합 기반 기준과 달리, 지원 이미지 수가 증가함에 따라 성능 향상이 지속되는 k샷 학습을 위한 미세조정 기반 전략을 제안하기 위해.

제안 방법

• CRNet는 지원 이미지와 쿼리 이미지 양쪽에서 동시에 전경 마스크를 예측하는 이중 브랜치 인코더-디코더 아키텍처를 사용한다.
• 상호참조 모듈은 두 이미지 간의 특징을 비교하여 공시 발생 객체를 식별함으로써 강화된 표현을 생성함으로써 특징의 구분 능력을 향상시킨다.
• 마스크 정밀화 모듈은 신뢰도 맵을 캐시로 사용하며, 각 단계에서 새로운 확률 맵으로 캐시를 갱신함으로써 반복적으로 예측을 정밀화한다.
• k샷 학습을 위해, k개의 지원 이미지에서 유도된 최대 k²개의 이미지 쌍을 사용하여 네트워크를 미세조정함으로써 다수의 레이블이 부여된 예시를 효과적으로 활용한다.
• 네트워크는 병합된 손실 함수로 훈련되며, 쿼리 이미지에 대한 주요 세그멘테이션 손실과 상호참조 모듈 내 공시 발생 예측 작업에 대한 보조 손실이 포함된다.
• 테스트 단계에서는 다중 스케일 추론과 다중 수준 특징 융합을 적용하여 척도 변화에 대한 강건성과 정확도 향상을 높인다.

실험 결과

연구 질문

• RQ1 지원 이미지와 쿼리 이미지 양쪽에서 대칭적 예측을 통해 단방향 가이던스 대비 소수의 이미지 세그멘테이션 성능 향상이 가능한가?
• RQ2 신뢰도 캐시 기반 마스크 정밀화 모듈이 반복적으로 전경 마스크 예측을 향상시키는 데 얼마나 효과적인가?
• RQ3 여러 개의 지원 이미지를 사용해 네트워크를 미세조정하는 것이 특징 또는 마스크 융합 기반 기준보다 k샷 세그멘테이션에서 더 나은 성능을 내는가?
• RQ4 다중 수준 특징과 다중 스케일 테스트는 모델의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ5 상호참조 모듈이 공시 발생 객체 탐지 및 세그멘테이션을 위한 특징 표현 향상에 기여하는 정도는 어떠한가?

주요 결과

• 상호참조 모듈만으로도 기준 모델 대비 10퍼센트 이상 mIoU 향상을 기록하며, 특징 강화에 있어 핵심적인 역할을 함을 입증하였다.
• 신뢰도 캐시 기반 마스크 정밀화 모듈은 단일 추론 기반 기준 대비 mIoU를 3.1 포인트 향상시켜 예측 품질 향상이 뚜렷하게 나타났다.
• 5샷 설정에서, 미세조정 기반 방법은 융합 기반 기준 대비 8.4 mIoU 높은 성능을 기록하였으며, 지원 이미지 수가 증가함에 따라 성능 향상이 지속되었고, 융합 기반 방법은 성능 저하를 보였다.
• 다중 스케일 테스트는 1샷 설정에서 mIoU를 1.2 포인트 향상시켜 척도 변화에 대한 강건성을 입증하였다.
• 최종 레이어의 특징만 사용하는 것보다 다수 수준의 특징을 사용할 경우 mIoU가 1.8 포인트 향상되었으며, 중간 수준의 맥락적 특징의 중요성을 강조하였다.
• MS COCO에서의 분석 결과, 상호참조 모듈과 마스크 정밀화 모듈 모두 성능 향상에 기여함을 확인하였으며, 전체 모델이 가장 높은 mIoU를 기록하였다.