[논문 리뷰] Prototype Mixture Models for Few-shot Semantic Segmentation

Boyu Yang, Chang Liu외 3명|arXiv (Cornell University)|2020. 08. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 25

한 줄 요약

이 논문은 지원 이미지에서 다수의 프로토타입을 학습하기 위해 기대값 최대화(EM) 알고리즘을 사용하는 새로운 소수 샘플 세분화 방법인 프로토타입 혼합 모델(PMMs)을 제안한다. 이는 다양한 공간적 및 채널 별 의미를 포착한다. PMMs를 이중 매칭 및 복소화 메커니즘에서 표현과 분류기로 동시에 활용함으로써, 계산 비용을 최소화하면서도 세분화 정확도를 크게 향상시켰으며, MS-COCO 5-shot 세분화에서 최대 5.82%p의 절대적 성능 향상을 달성하였다.

ABSTRACT

Few-shot segmentation is challenging because objects within the support and query images could significantly differ in appearance and pose. Using a single prototype acquired directly from the support image to segment the query image causes semantic ambiguity. In this paper, we propose prototype mixture models (PMMs), which correlate diverse image regions with multiple prototypes to enforce the prototype-based semantic representation. Estimated by an Expectation-Maximization algorithm, PMMs incorporate rich channel-wised and spatial semantics from limited support images. Utilized as representations as well as classifiers, PMMs fully leverage the semantics to activate objects in the query image while depressing background regions in a duplex manner. Extensive experiments on Pascal VOC and MS-COCO datasets show that PMMs significantly improve upon state-of-the-arts. Particularly, PMMs improve 5-shot segmentation performance on MS-COCO by up to 5.82\% with only a moderate cost for model size and inference speed.

연구 동기 및 목표

• 전체 평균 풀링으로 인해 공간적 레이아웃을 상실하는 단일 프로토타입 모델로 인한 의미 모호성 문제를 해결하기 위해.
• 제한된 지원 이미지에서 유도된 다수의 프로토타입을 활용해 다양한 전경 영역과 배경 의미를 모델링함으로써 특징 표현을 향상시키기 위해.
• 후처리나 아키텍처의 대대적 개선 없이도 메트릭 학습 프레임워크에 쉽게 통합 가능한 플러그 앤 플레이 방식의 방법을 개발하기 위해.
• 모델 크기와 추론 비용이 다소 증가하더라도, PASCAL VOC 및 MS-COCO 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• PMMs는 기대값 최대화(EM) 알고리즘을 사용하여 각 지원 이미지에서 다수의 프로토타입을 추정하며, 마스킹된 픽셀을 양성 샘플로 간주한다.
• EM 알고리즘은 공간적 및 채널 별 특징 분포를 모델링하여, 혼합 프로토타입을 통해 개별 객체 부위와 배경 영역을 표현할 수 있도록 한다.
• 추론 과정에서 PMMs는 이중 방식으로 사용된다: (1) P-Match는 쿼리 특징을 프로토타입과 매칭하여 관련 채널을 활성화하고, (2) P-Conv는 원소별 곱셈을 수행하여 확률 맵을 생성한다.
• 이중 브랜치 아키텍처(지원 및 쿼리 브랜치)를 활용해 기존의 소수 샘플 세분화 모델과의 호환성을 유지하면서도 메트릭 학습 프레임워크에 원활하게 통합된다.
• 스킵 연결을 사용해 PMM 모듈를 스택함으로써 성능을 추가로 향상시키는 잔차 기반 RPMMs 버전이 도입된다.
• 이 방법은 경량이며, 오직 19.5M 파라미터 증가만으로도 높은 추론 속도(2080Ti에서 26 FPS)를 유지한다.

실험 결과

연구 질문

• RQ1 EM 알고리즘을 통해 학습된 다수의 프로토타입이 단일 전역 프로토타입보다 소수 샘플 세분화에서 의미 표현을 향상시키는가?
• RQ2 프로토타입 혼합을 통해 다양한 객체 부위와 배경 영역을 모델링할 경우, 소수 샘플 벤치마크에서 세분화 정확도에 어떤 영향을 미치는가?
• RQ3 PMMs를 표현과 분류기로 이중적으로 사용함으로써 특징 활성화 및 배경 억제가 얼마나 향상되는가?
• RQ4 1-shot과 5-shot 설정, PASCAL VOC와 MS-COCO 데이터셋 간의 다양한 소수 샘플 설정에서 이 방법의 스케일링 능력은 어떠한가?
• RQ5 PMMs를 사용할 경우 모델 복잡도, 추론 속도, 성능 향상 간의 상충 관계는 어떠한가?

주요 결과

• 5-shot MS-COCO 벤치마크에서 PMMs는 최신 기술 수준의 성능을 5.82%p 향상시켰으며, RPMMs는 기준 모델 대비 7.66%p 향상되었다.
• MS-COCO의 1-shot 설정에서 RPMMs는 기준 모델 대비 4.47%p 향상되었고, PANet 대비 9.68%p 향상되어 강력한 일반화 능력을 입증했다.
• PASCAL VOC에서 RPMMs는 ResNet50 백본을 사용할 때 1-shot 설정에서 최신 기술 수준 대비 2.38%p 향상되었고, 5-shot 설정에서는 1.50%p 향상되었다.
• 최적의 프로토타입 수는 K=3이며, 이 이상일 경우 제한된 지원 샘플에서 과적합으로 인해 성능이 정점에 도달하거나 감소한다.
• VMF 커널이 가우시안 커널보다 프로토타입 추정에서 더 뛰어난 성능을 보여, 코사인 유사도가 특징 간의 각도 관계를 더 잘 포착함을 시사한다.
• 19.5M 파라미터 증가에도 불구하고 모델은 높은 추론 속도를 유지하며(2080Ti에서 26 FPS), RPMMs를 사용할 경우에도 추론 속도가 다소 감소하나(20 FPS) 여전히 빠른 수준을 유지한다.