[논문 리뷰] Prototype Refinement Network for Few-Shot Segmentation

Jinlu Liu, Yongqiang Qin|arXiv (Cornell University)|2020. 02. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 23

한 줄 요약

이 논문은 양방향 프로토타입 학습, 지원 데이터셋에 대한 모델 적응, 그리고 파rameter가 없는 프로토타입 융합 메커니즘을 통해 프로토타입의 대표성을 향상시키는 새로운 소수 샘플 세그멘테이션 방법인 프로토타입 정련 네트워크(_PRNet_)를 제안한다. PRNet는 COCO-20i에서 1-shot 설정에서 이전 방법들보다 13.1% 높은 평균 IoU 성능을 기록하며 최신 기준 성능을 달성한다.

ABSTRACT

Few-shot segmentation targets to segment new classes with few annotated images provided. It is more challenging than traditional semantic segmentation tasks that segment known classes with abundant annotated images. In this paper, we propose a Prototype Refinement Network (PRNet) to attack the challenge of few-shot segmentation. It firstly learns to bidirectionally extract prototypes from both support and query images of the known classes. Furthermore, to extract representative prototypes of the new classes, we use adaptation and fusion for prototype refinement. The step of adaptation makes the model to learn new concepts which is directly implemented by retraining. Prototype fusion is firstly proposed which fuses support prototypes with query prototypes, incorporating the knowledge from both sides. It is effective in prototype refinement without importing extra learnable parameters. In this way, the prototypes become more discriminative in low-data regimes. Experiments on PASAL-$5^i$ and COCO-$20^i$ demonstrate the superiority of our method. Especially on COCO-$20^i$, PRNet significantly outperforms existing methods by a large margin of 13.1\% in 1-shot setting.

연구 동기 및 목표

• 소수의 애너테이션된 지원 이미지로만 새로운 클래스에 일반화해야 하는 소수 샘플 세그멘테이션의 과제를 해결하기 위해.
• 자료 부족과 내부 클래스 변동성로 인해 발생하는 편향되고 비대표적인 프로토타입의 한계를 극복하기 위해.
• 양방향 학습과 정련을 통해 지원 및 쿼리 이미지에서의 지식을 활용하여 세그멘테이션을 위한 프로토타입 품질을 향상시키기 위해.
• 모델 복잡도를 증가시키지 않으면서도 프로토타입의 구분 능력을 향상시키는 효율적이고 파rameter가 없는 정련 전략을 개발하기 위해.

제안 방법

• 양방향 프로토타입 학습: 깊이 있는 특징에 대해 마스크 평균 풀링을 사용하여 훈련 중에 지원 및 쿼리 이미지에서 프로토타입을 추출한다.
• 테스트 시 모델 적응: 새로운 클래스에 적응하기 위해 소수 샘플 지원 이미지로 특징 추출기를 재학습시켜 프로토타입의 관련성을 향상시킨다.
• 이중 단계 프로토타입 융합: 유사도 맵과 자가 적응 임계값 α를 사용하여 지원 프로토타입과 쿼리에서 유도된 프로토타입을 융합한다.
• 반복적 정련: 융합을 두 번 적용한다. 첫 번째로 지원 프로토타입과 초기 쿼리 프로토타입을 융합하고, 두 번째로 개선된 쿼리 프로토타입과 융합하여 점진적으로 프로토타입 품질을 향상시킨다.
• 가장 가까운 프로토타입 매칭: 특징 공간에서 각 픽셀을 가장 가까운 프로토타입에 할당하여 쿼리 이미지를 세그멘테이션한다. 이때 최종 표현으로 개선된 프로토타입을 사용한다.
• 자기 적응 임계값 설정: 유사도 맵에서 높은 신뢰도 영역을 동적으로 선택하여 프로토타입 추출 및 융합을 안내함으로써 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 지원 및 쿼리 이미지에서 유도된 양방향 프로토타입 학습이 소수 샘플 세그멘테이션에서 프로토타입의 대표성 향상에 기여하는가?
• RQ2 소수 샘플 지원 세트에 대한 모델 적응이 새로운 클래스를 위한 프로토타입 정련에 얼마나 효과적인가?
• RQ3 파rameter가 없는 융합 메커니즘이 프로토타입 품질과 세그멘테이션 정확도를 크게 향상시킬 수 있는가?
• RQ4 제안된 정련 전략은 다양한 소수 샘플 설정(예: 1-shot 대비 5-shot)과 다양한 데이터셋(예: PASCAL-5i 대비 COCO-20i)에 일반화되는가?
• RQ5 기존의 1-way 방법들에 비해 더 높은 방향성(예: 2-way) 소수 샘플 세그멘테이션에서도 이 방법이 강력한 성능 유지를 할 수 있는가?

주요 결과

• PRNet는 COCO-20i에서 1-shot 설정에서 이전 방법들보다 평균 IoU가 13.1% 높은 절대적 향상을 기록하며 새로운 최신 기준 성능을 확립했다.
• COCO-20i에서 PRNet는 ResNet-101 기반으로 5-shot 설정에서 평균 IoU 33.37%를 기록했으며, 이는 이전 방법 대비 17.4% 향상된 성능이다.
• 제안된 프로토타입 융합 메커니즘은 추가적인 학습 가능한 파rameter 없이 성능 향상을 이끌어내어 효율성과 효과성을 입증했다.
• 절단 분석 결과, 균형 임계값(ωs=0.5, ωq=0.5)을 사용할 경우 평균 IoU와 이진 IoU 점수 사이의 최적의 트레이드오프를 달성한다.
• 2-way 소수 샘플 세그멘테이션에서 PRNet는 평균 IoU 54.59%를 기록했으며, 1-way 작업에만 보고된 기존 방법들을 능가함으로써 높은 방향성 설정으로의 강력한 일반화 능력을 보였다.
• PASCAL-5i와 COCO-20i 데이터셋에서 VGG, ResNet-50, ResNet-101 등 모든 백본 네트워크와 모든 폴드에서 기준 모델들을 일관되게 능가했다.