[논문 리뷰] Attentional Prototype Inference for Few-Shot Segmentation

Haoliang Sun, Xiankai Lu외 5명|arXiv (Cornell University)|2021. 05. 14.

Advanced Neural Network Applications참고 문헌 57인용 수 4

한 줄 요약

이 논문은 소수의 샘플에서 이미지 세그멘테이션을 수행하기 위한 확률적 잠재변수 프레임워크인 Attentional Prototype Inference (API)를 제안한다. 이는 객체 프로토타입을 분포로 모델링하여 불확실성과 내부 클래스 변동성을 다루는 방식이다. 변분 베이지안 추론을 통해 확률적 프로토타입과 어텐션 맵을 동시에 추론함으로써, 사전에 정의된 프로토타입 기반 방법보다 우수한 성능을 보이며, 1-shot 및 5-shot 설정 모두에서 최신 기술을 초월한다.

ABSTRACT

This paper aims to address few-shot segmentation. While existing prototype-based methods have achieved considerable success, they suffer from uncertainty and ambiguity caused by limited labeled examples. In this work, we propose attentional prototype inference (API), a probabilistic latent variable framework for few-shot segmentation. We define a global latent variable to represent the prototype of each object category, which we model as a probabilistic distribution. The probabilistic modeling of the prototype enhances the model's generalization ability by handling the inherent uncertainty caused by limited data and intra-class variations of objects. To further enhance the model, we introduce a local latent variable to represent the attention map of each query image, which enables the model to attend to foreground objects while suppressing the background. The optimization of the proposed model is formulated as a variational Bayesian inference problem, which is established by amortized inference networks. We conduct extensive experiments on four benchmarks, where our proposal obtains at least competitive and often better performance than state-of-the-art prototype-based methods. We also provide comprehensive analyses and ablation studies to gain insight into the effectiveness of our method for few-shot segmentation.

연구 동기 및 목표

• 제한된 레이블 데이터로 인해 불확실성, 노이즈, 내부 클래스 변동성 등으로 인해 성능 저하가 발생하는 결정론적 프로토타입 기반 방법의 한계를 해결한다.
• 고정된 벡터가 아닌 확률적 분포로 객체 프로토타입을 모델링하여 불확실성과 내부 클래스 다양성을 포괄함으로써 일반화 능력을 향상시킨다.
• 어떤 쿼리 이미지도를 위한 국소 잠재변수를 도입하여 어텐션 맵을 표현함으로써, 전경 객체에 대한 집중을 향상시키고 배경 간섭을 억제한다.
• 증거 하한값(ELBO)을 사용한 변분 추론 문제로 최적화를 공식화함으로써, 프로토타입과 어텐션의 동시 학습을 가능하게 한다.
• 다양한 소수의 샘플 세그멘테이션 벤치마크에서 광범위한 실험과 분석을 통해 프레임워크의 효과성을 입증한다.

제안 방법

• 각 객체 카테고리의 확률적 프로토타입을 나타내는 글로벌 잠재변수를 정의하며, 이는 불확실성과 내부 클래스 변동성을 포괄하기 위해 분포로 모델링된다.
• 각 쿼리 이미지에 대해 어텐션 맵을 표현하기 위한 국소 잠재변수를 도입함으로써, 전경 영역에 동적으로 집중할 수 있도록 한다.
• 후행 분포를 근사하기 위해 암시적 추론 네트워크를 사용하는 변분 베이지안 추론 문제로 최적화를 공식화한다.
• 소수의 샘플 세그멘테이션에 특화된 새로운 증거 하한값(ELBO)을 유도하여, 프로토타입과 어텐션의 후행 분포를 동시에 추정할 수 있도록 한다.
• 다중 스토케스틱 예측을 집계함으로써 강인하고 완전한 세그멘테이션 맵을 얻기 위해 몬테 카를로 샘플링을 사용한다.
• 학습 시 계산 비용과 일반화 능력의 균형을 위해 단일 샘플을 사용한 확률적 경량 최적화를 적용하며, 추론 시에는 정확도 향상을 위해 5~15개의 샘플을 사용한다.

실험 결과

연구 질문

• RQ1 객체 프로토타입을 확률적 분포로 모델링하는 것이 소수의 샘플 세그멘테이션에서 레이블의 모호성과 내부 클래스 변동성에 대해 강인성을 향상시키는가?
• RQ2 학습 가능한 어텐션 메커니즘을 국소 잠재변수로 도입함으로써 전경 지역의 정밀도와 세그멘테이션 정확도는 어떻게 향상되는가?
• RQ3 공동 최적화된 ELBO 목표함수를 사용한 변분 추론이 낮은 데이터 환경에서 일반화 능력을 얼마나 향상시키는가?
• RQ4 스토케스틱 프로토타입과 어텐션 맵에 대한 몬테 카를로 샘플링은 세그멘테이션 품질과 추론 효율성에 어떤 영향을 미치는가?
• RQ5 각 구성 요소(확률적 프로토타입, 어텐션 맵, 변분 추론)가 전체 성능에 기여하는 정도는 어떻게 분석되었는가(아블레이션 스터디를 통해 확인함)?

주요 결과

• API는 Pascal-5i, MS-COCO, FSS-1000 및 LIDC-IDRI의 네 가지 벤치마크에서 최신 기술보다 최소한 경쟁적 또는 더 뛰어난 성능을 기록한다.
• 의료 영상 데이터셋인 LIDC-IDRI에서, 이 방법은 강력한 통계적 성질을 보이며, 교차 에너지 거리 결과를 통해 내재된 영상의 모호성을 충실하게 처리함을 시사한다.
• 아블레이션 스터디 결과, 확률적 프로토타입과 변분 어텐션 메커니즘이 성능 향상에 상당한 기여를 한다는 것이 확인되었다.
• 몬테 카를로 샘플링은 세그멘테이션의 완전성 향상과 노이즈 감소에 기여하며, 15개 샘플에서 성능 포화 상태에 도달하지만, 실질적으로 추론 시 5개 샘플로도 효율적인 성능가능성이 있다.
• 모델은 다양하고 타당한 세그멘테이션 가설을 생성하며, 이는 불확실성 인식 예측을 제공함으로써 임상 의사결정 지원에 기여할 수 있다.
• 추론 시간은 어텐션 도입으로 약간 증가하지만(5-shot에서 M=15일 때 0.1초 미만), 테스트 시 최소한의 샘플링으로도 수용 가능한 속도를 유지한다.