[논문 리뷰] Differentiable Meta-learning Model for Few-shot Semantic Segmentation

Pinzhuo Tian, Zhangkai Wu외 4명|arXiv (Cornell University)|2019. 11. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 6

한 줄 요약

이 논문은 선형 분류기와 글로벌 및 로컬 특징 브랜치를 갖춘 새로운 임베딩 모듈을 사용하여 픽셀 단위 분류 문제로 접근하는 가변 가능(meta-learning) 프레임워크인 MetaSegNet을 제안한다. 이 방법은 사전 훈련이나 외부 지식 없이 끝에서 끝까지 미리 훈련 없이도 K-웨이, N-샷 분할에서 최신 기술 수준(SOTA) 성능을 달성하며, PASCAL VOC 및 COCO 데이터셋에서 이전 방법들을 능가한다.

ABSTRACT

To address the annotation scarcity issue in some cases of semantic segmentation, there have been a few attempts to develop the segmentation model in the few-shot learning paradigm. However, most existing methods only focus on the traditional 1-way segmentation setting (i.e., one image only contains a single object). This is far away from practical semantic segmentation tasks where the K-way setting (K>1) is usually required by performing the accurate multi-object segmentation. To deal with this issue, we formulate the few-shot semantic segmentation task as a learning-based pixel classification problem and propose a novel framework called MetaSegNet based on meta-learning. In MetaSegNet, an architecture of embedding module consisting of the global and local feature branches is developed to extract the appropriate meta-knowledge for the few-shot segmentation. Moreover, we incorporate a linear model into MetaSegNet as a base learner to directly predict the label of each pixel for the multi-object segmentation. Furthermore, our MetaSegNet can be trained by the episodic training mechanism in an end-to-end manner from scratch. Experiments on two popular semantic segmentation datasets, i.e., PASCAL VOC and COCO, reveal the effectiveness of the proposed MetaSegNet in the K-way few-shot semantic segmentation task.

연구 동기 및 목표

• 제한된 애너테이션 데이터를 가진 세그멘테이션 문제에 도전하며, 특히 소수 샘플 학습이 다루지 않은 다중 객체(K-웨이) 시나리오에서의 과제를 해결한다.
• 기존 방법들이 거리 기반 메트릭 학습, ImageNet에서의 사전 훈련, 또는 복잡한 비선형 분류기에 의존하는 데서 비롯되는 한계를 극복한다. 이러한 방법들은 엔드 투 엔드 훈련을 어렵게 한다.
• 기존 지식이나 광범위한 미세조정 없이도 소수 샘플 작업 간에 잘 일반화되는 프레임워크를 개발한다.
• 에피소드 기반 메타학습을 통해 간단하면서도 강력한 아키텍처를 사용하여 끝에서 끝까지 미리 훈련 없이도 픽셀 수준의 분류를 효과적으로 훈련시킬 수 있도록 한다.

제안 방법

• 이미지 수준의 유사도 매칭이 아닌, 밀도 높은 픽셀 분류 작업으로 소수 샘플 세그멘테이션을 공식화한다.
• 전체 메타지식을 추출하기 위해 글로벌 컨텍스트와 로컬 특징 브랜치를 갖춘 새로운 임베딩 모듈을 도입한다.
• 메타훈련 중에 효율적이고 안정적인 최적화를 위해 기본 학습기로 선형 리지 회귀 모델을 사용한다.
• 각 에피소드가 새로운 소수 샘플 세그멘테이션 작업을 시뮬레이션하는 방식으로, 전체 모델을 에피소드 훈련을 통해 엔드 투 엔드로 훈련시킨다. 지원 세트와 쿼리 세트를 포함한다.
• 다양한 K-웨이 소수 샘플 작업에 걸쳐 일반화할 수 있도록 임베딩 모듈을 최적화하기 위해 메타손실을 활용한다.
• ImageNet이나 기타 외부 데이터셋에서의 사전 훈련 없이도 훈련이 가능하도록 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 학습 기반 픽셀 분류 접근 방식이 K-웨이 소수 샘플 세그멘테이션에서 유사도 기반 메트릭 학습을 능가할 수 있는가?
• RQ2 비선형 분류기 대신 선형 분류기를 사용하면 소수 샘플 세그멘테이션에서 훈련의 안정성과 성능이 향상되는가?
• RQ3 글로벌 및 로컬 특징을 조합한 이중 브랜치 임베딩 모듈은 소수 샘플 세그멘테이션에 얼마나 효과적인가?
• RQ4 ImageNet과 같은 대규모 데이터셋에서의 사전 훈련 없이도 모델이 강력한 성능을 낼 수 있는가?
• RQ5 지원 샘플의 수가 소수 샘플 설정에서 세그멘테이션 정확도에 어떤 영향을 미치는가?

주요 결과

• MetaSegNet은 1-샷 2-웨이 PASCAL-5i_val 분할에서 평균 IoU 38.92%를 달성하여 이전 SOTA 방법보다 1.17% 높은 성능을 보였다.
• 5-샷 설정에서는 평균 IoU 49.44%를 기록하여 두 번째로 좋은 방법보다 1.10% 향상되었다.
• 제거 실험 결과 글로벌 컨텍스트 브랜치가 성능에 크게 기여하며, 1-샷 설정에서 mIoU를 1.27% 향상시키고 5-샷 설정에서는 1.10% 향상시켰다.
• 리지 회귀를 1×1 컨벌루션 레이어로 대체한 MetaSegConv는 1-샷 설정에서 성능이 2.75% 떨어지고 5-샷 설정에서는 12.3% 떨어져, 선형 분류기의 우수성을 입증했다.
• 지원 세트의 샷 수와 성능 간에 양의 상관관계가 나타나, 제한된 감독 정보를 효과적으로 활용하고 있음을 확인했다.
• MetaSegNet은 사전 훈련이나 외부 지식 없이도 최신 기술 수준의 성능을 달성하여 진정한 소수 샘플 설정에서의 효과성을 입증했다.