[논문 리뷰] Beyond the Prototype: Divide-and-conquer Proxies for Few-shot Segmentation

Chunbo Lang, Binfei Tu외 2명|arXiv (Cornell University)|2022. 04. 21.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 메타 추론을 향상시키기 위해 자기 추론과 마스크 분할을 통해 다수의 지원 유도 프로토타입을 도출하는 새로운 소수 샘플 분할 프레임워크인 Divide-and-Conquer Proxies (DCP)를 제안한다. 이는 기존의 프로토타입보다 더 견고한 가이던스를 제공한다. DCP는 PASCAL-5i 및 COCO-20i 벤치마크에서 프로토타입 기반 방법 대비 최대 10% 향상된 mIoU 성능을 달성하여 최신 기술 수준을 확립한다.

ABSTRACT

Few-shot segmentation, which aims to segment unseen-class objects given only a handful of densely labeled samples, has received widespread attention from the community. Existing approaches typically follow the prototype learning paradigm to perform meta-inference, which fails to fully exploit the underlying information from support image-mask pairs, resulting in various segmentation failures, e.g., incomplete objects, ambiguous boundaries, and distractor activation. To this end, we propose a simple yet versatile framework in the spirit of divide-and-conquer. Specifically, a novel self-reasoning scheme is first implemented on the annotated support image, and then the coarse segmentation mask is divided into multiple regions with different properties. Leveraging effective masked average pooling operations, a series of support-induced proxies are thus derived, each playing a specific role in conquering the above challenges. Moreover, we devise a unique parallel decoder structure that integrates proxies with similar attributes to boost the discrimination power. Our proposed approach, named divide-and-conquer proxies (DCP), allows for the development of appropriate and reliable information as a guide at the "episode" level, not just about the object cues themselves. Extensive experiments on PASCAL-5i and COCO-20i demonstrate the superiority of DCP over conventional prototype-based approaches (up to 5~10% on average), which also establishes a new state-of-the-art. Code is available at github.com/chunbolang/DCP.

연구 동기 및 목표

• 모호한 경계나 간섭 물체와 같은 복잡한 케이스에서 자주 실패하는 프로토타입 기반 소수 샘플 분할의 한계를 해결한다.
• 기존 방법에서 지원 이미지-마스크 쌍의 잠재적 활용도가 낮은 문제를 해결한다. 이러한 방법들은 압축된 객체 특징에 크게 의존한다.
• 지원 이미지에서 다양한 특성에 특화된 프로토타입을 추출하여 에피소드 수준에서 더 견고하고 정보량이 풍부한 가이던스 메커니즘을 개발한다.
• 새로운 병렬 디코더 구조를 통해 유사한 의미 역할을 하는 프로토타입을 통합하여 분할 정확도와 내성 강도를 향상시킨다.

제안 방법

• 지원 이미지에 자기 추론 기반 기법을 적용하여 굵은 분할 마스크를 생성하고, 이를 의미적으로 구분 가능한 다수의 영역으로 분할한다.
• 각 영역에 대해 마스크 평균 풀링을 적용하여, 배경, 전경, 경계 관련 정보 등 특정 단서를 캡처하는 일련의 지원 유도 프로토타입을 도출한다.
• 유사한 특성(예: 전경, 배경)을 가진 프로토타입을 그룹화하고 융합하여 식별 능력을 향상시키는 병렬 디코더 구조(PDS)를 도입한다.
• 쿼리 이미지 추론 중 프로토타입 기반 주의 메커니즘을 대체하거나 보완하기 위해 프로토타입의 활성화 맵을 동적 가이던스 신호로 활용한다.
• 쿼리 특징과 프로토타입 활성화 맵의 융합을 위해 학습 가능한, 파rameter 효율적인 전략을 제안하여 고속 및 저 FLOPs를 유지한다.
• 교차 엔트로피 손실과 Dice 손실을 동시에 최적화하여 예측 마스크와 진짜 마스크 간의 일치를 보장한다.

실험 결과

연구 질문

• RQ1 지원 이미지-마스크 쌍의 보다 종합적인 활용이 프로토타입 기반 방법의 한계를 초월해 소수 샘플 분할 성능을 향상시킬 수 있는가?
• RQ2 지원 마스크를 의미적으로 구분 가능한 영역으로 나누고 전문화된 프로토타입을 도출하는 것이 도전적인 소수 샘플 분할 작업에서 더 나은 일반화를 이끌 수 있는가?
• RQ3 유사한 특성을 가진 프로토타입을 병렬 디코더 구조를 통해 융합함으로써 식별 능력 향상과 거짓 양성률 감소를 달성할 수 있는가?
• RQ4 제안된 프레임워크는 고속 추론과 저비용 계산을 유지하면서도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DCP는 PASCAL-5i 1-shot 벤치마크에서 60.63%의 mIoU 성능을 기록하여 기준 프로토타입 방법보다 1.12%p 높고, 이전 최신 기술 수준 대비 최대 10% 향상되었다.
• 배경과 관련된 프로토타입(예: $\mathbf{M}_\gamma$, $\mathbf{M}_\delta$)의 포함으로 인해 간섭 물체가 있는 장면에서 거짓 양성률이 크게 감소했다.
• 제안된 병렬 디코더 구조(PDS)는 단순 연결 융합 방식 대비 0.49%p mIoU 향상을 보이며, 특징 혼동을 효과적으로 관리함을 입증했다.
• 활성화 맵 기반 융합 전략은 추가 파라미터 0.26M만으로 16+ FPS의 빠른 추론 속도를 확보하여 뛰어난 효율성을 보였다.
• 절단 실험 결과, 자기 추론과 영역 분할을 통해 도출된 프로토타입은 단순히 프로토타입만 사용하는 것보다 더 신뢰할 수 있는 가이던스를 제공하며, 특히 경계의 모호성과 클래스 혼동을 다룰 때 유리함을 입증했다.
• 혼동 행렬 분석 결과, DCP는 기준 모델 대비 유사 카테고리 간의 의미적 혼동, 예를 들어 '개'와 '고양이' 사이의 혼동을 크게 감소시켰다.