[논문 리뷰] Part-aware Prototype Network for Few-shot Semantic Segmentation

Yongfei Liu, Xiangyi Zhang외 2명|arXiv (Cornell University)|2020. 07. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 26

한 줄 요약

이 논문은 전체 클래스 프로토타입을 부분 인식 표현으로 분해하여 미세한 물체 특징을 포착하는 새로운 소수 샘플 세분화 프레임워크인 Part-aware Prototype Network (PPNet)을 제안한다. 그래프 신경망을 통해 비라벨 데이터를 활용하여 프로토타입을 개선함으로써, PPNet은 PASCAL-5i 및 COCO-20i 벤치마크에서 최신 기술 수준을 상당히 뛰어넘는 성능을 달성하였으며, 일방적 및 다방적 설정 모두에서 앞서는 성능을 보였다.

ABSTRACT

Few-shot semantic segmentation aims to learn to segment new object classes with only a few annotated examples, which has a wide range of real-world applications. Most existing methods either focus on the restrictive setting of one-way few-shot segmentation or suffer from incomplete coverage of object regions. In this paper, we propose a novel few-shot semantic segmentation framework based on the prototype representation. Our key idea is to decompose the holistic class representation into a set of part-aware prototypes, capable of capturing diverse and fine-grained object features. In addition, we propose to leverage unlabeled data to enrich our part-aware prototypes, resulting in better modeling of intra-class variations of semantic objects. We develop a novel graph neural network model to generate and enhance the proposed part-aware prototypes based on labeled and unlabeled images. Extensive experimental evaluations on two benchmarks show that our method outperforms the prior art with a sizable margin.

연구 동기 및 목표

• 기존의 전체 프로토타입에 의존하고 소규모 라벨된 지원 세트에 의존하는 소수 샘플 세분화 방법의 한계를 해결하기 위해.
• 클래스 표현을 부분 인식 프로토타입으로 분해하여 공간적 커버리지와 특징 다양성을 향상시키기 위해.
• 비라벨 데이터를 프로토타입 학습 과정에 통합하여 내부 클래스 변동성을 더 효과적으로 모델링하기 위해.
• 일방적 및 다방적 소수 샘플 세분화 설정 모두에 잘 일반화되는 통합 프레임워크를 개발하기 위해.
• 그래프 신경망을 활용한 새로운 준지도 학습 소수 샘플 세분화 파라다임을 도입하기 위해.

제안 방법

• 이 방법은 세 가지 모듈 아키텍처를 사용한다: 임bedding 네트워크, 부분 인식 프로토타입 생성 네트워크, 마스크 생성 네트워크.
• 부분 인식 프로토타입은 객체 특징을 군집화하고, 라벨된 및 비라벨된 지원 이미지 간의 그래프 주의 메커니즘(GAT)을 통해 개선한다.
• 프로토타입 생성 과정은 두 단계로 구성된다: (1) 특징을 후보 프로토타입으로 군집화하고, (2) 지원 샘플 간 메시지 전달을 통해 GAT를 활용해 이를 개선한다.
• 새로운 매칭 전략은 다수의 부분 인식 프로토타입에서 유도된 점수 맵을 융합하여 최종 세분화 마스크를 예측한다.
• 모델는 메타학습을 통해 훈련되며, 원래의 의미 클래스를 활용해 더 나은 특징 학습을 위한 증강된 손실 함수를 사용한다.
• 비라벨 이미지는 지원 세트에 통합되어 프로토타입 표현을 풍부하게 하고 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 전체 프로토타입 대비 부분 인식 프로토타입이 미세한 물체 특징을 포착함으로써 세분화 정확도를 향상시키는가?
• RQ2 비라벨 데이터의 통합이 소수 샘플 세분화를 위한 프로토타입 표현을 강화하는 데 얼마나 효과적인가?
• RQ3 그래프 신경망이 라벨된 및 비라벨된 지원 데이터를 모두 활용하여 부분 인식 프로토타입을 효과적으로 개선할 수 있는가?
• RQ4 제안된 방법이 일방적 및 다방적 소수 샘플 세분화 설정 모두에 잘 일반화되는가?
• RQ5 최적의 성능을 내기 위해 부분 수와 비라벨 샘플 수와 같은 하이퍼파rameter의 최적 설정은 무엇인가?

주요 결과

• COCO-20i 벤치마크에서 PPNet는 1-way 1-shot 설정에서 평균 IoU 36.48%를 기록하여 이전 최신 기술 수준을 크게 뛰어넘었다.
• COCO-20i의 5-shot 설정에서 PPNet는 평균 IoU 38.53%를 달성하여 더 높은 샘플 수 설정에서도 강력한 일반화 능력을 보였다.
• 절단 실험 결과, 부분 인식 프로토타입(PAP)이 모든 구성 요소를 포함할 경우 평균 IoU를 22.95%에서 27.16%로 향상시켰다.
• 의미 분기(SEM)와 비라벨 데이터(UD)의 포함이 수렴 속도와 최종 성능을 크게 향상시켰으며, GNN 기반 개선 기법이 주요 기여를 하였다.
• 최적의 부분 프로토타입 수는 5로 확인되었고, 최적의 비라벨 이미지 수는 6이며, 의미 손실의 β 값은 0.5일 때 최고의 성능를 기록하였다.
• PPNet는 PASCAL-5i 및 COCO-20i의 모든 분할 설정에서 최신 기술 수준의 성능를 달성하여, 일방적 및 다방적 소수 샘플 세분화 모두에서 효과성을 입증하였다.