[논문 리뷰] Integrative Few-Shot Learning for Classification and Segmentation

Dahyun Kang, Minsu Cho|arXiv (Cornell University)|2022. 03. 29.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 소수의 지원 예제를 사용하여 클래스 존재 여부와 프론트엔드 마스크를 동시에 예측하는 통합 소수 샘플 학습(iFSL)을 위한 새로운 접근법을 제안한다. 제안된 주의 집중 스queeze 네트워크(ASNet)는 의미적 상관관계와 글로벌 자기주의을 활용하여 정확하고 클래스 인식 가능한 프론트엔드 맵을 생성하며, FS-CS 및 표준 소수 샘플 분할 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

We introduce the integrative task of few-shot classification and segmentation (FS-CS) that aims to both classify and segment target objects in a query image when the target classes are given with a few examples. This task combines two conventional few-shot learning problems, few-shot classification and segmentation. FS-CS generalizes them to more realistic episodes with arbitrary image pairs, where each target class may or may not be present in the query. To address the task, we propose the integrative few-shot learning (iFSL) framework for FS-CS, which trains a learner to construct class-wise foreground maps for multi-label classification and pixel-wise segmentation. We also develop an effective iFSL model, attentive squeeze network (ASNet), that leverages deep semantic correlation and global self-attention to produce reliable foreground maps. In experiments, the proposed method shows promising performance on the FS-CS task and also achieves the state of the art on standard few-shot segmentation benchmarks.

연구 동기 및 목표

• 기존 소수 샘플 학습의 한계를 해결하기 위해 분류와 분할을 하나의 더 현실적인 작업으로 통합하고자 한다.
• 다중 레이블 및 배경 인식 예측을 처리할 수 있는 프레임워크를 개발하고, 특히 쿼리에서 목표 클래스가 존재하지 않을 경우의 상황도 포함하고자 한다.
• 공유 표현 학습을 통해 신뢰할 수 있는 클래스별 프론트엔드 맵을 생성할 수 있는 모델을 설계하고자 한다.
• 작은, 눈에 띄지 않는, 또는 다수의 객체가 포함된 소수 샘플 환경에서의 일반화 능력과 강인성을 향상시키고자 한다.
• FS-CS 모델의 전이 가능성(transferability)을 표준 소수 샘플 분류 및 분할 작업에 대해 검증하고자 한다.

제안 방법

• 분류와 분할을 공유하는 클래스별 프론트엔드 맵을 통해 두 작업 간에 통합적으로 학습하는 iFSL 프레임워크를 제안한다.
• 쿼리 및 지원 특징 간의 의미적 상관관계 텐서를 계산하는 주의 집중 스queeze 네트워크(ASNet)를 설계한다.
• 스트라이드된 글로벌 자기주의를 적용하여 상관관계 텐서를 정밀한 프론트엔드 맵으로 변환한다.
• 다중 수준의 특징 표현을 활용하여 의미 이해력과 공간 정렬 능력을 향상시킨다.
• 분류 태그와 분할 애너테이션을 동시에 사용하여 종합 최적화를 위한 엔드 투 엔드 학습을 수행한다.
• 이중 헤드 예측 헤드를 활용하여 이진 분류 존재 여부와 픽셀 단위의 분할 마스크를 동시에 예측한다.

실험 결과

연구 질문

• RQ1 실제 조건(예: 목표 클래스가 존재하지 않거나 다수의 클래스가 존재하는 경우)에서도 통합된 소수 샘플 학습 프레임워크가 분류와 분할을 효과적으로 통합할 수 있는가?
• RQ2 분류와 분할을 통합함으로써 고립된 작업 학습 대비 강인성과 정확도가 얼마나 향상되는가?
• RQ3 제안된 ASNet 모델이 표준 소수 샘플 분할 벤치마크에 얼마나 잘 일반화되는가?
• RQ4 통합 FS-CS 작업에서 학습된 모델이 전이 학습을 통해 후행되는 FS-C 및 FS-S 작업에서 성능 향상을 이끌 수 있는가?
• RQ5 글로벌 자기주의와 의미적 상관관계의 활용이 도전적인 소수 샘플 환경에서 프론트엔드 맵 품질을 얼마나 향상시키는가?

주요 결과

• ASNet는 제안된 FS-CS 벤치마크에서 최고 성능을 기록하였으며, ResNet50를 사용한 1-way 1-shot COCO-20i에서 mIoU 42.2% 및 분류 정확도 비율 42.2%를 달성하였다.
• 1-way 5-shot 설정에서는 mIoU 47.9% 및 분류 정확도 비율 47.9%를 기록하여 기존 방법들을 모두 초월하였다.
• ResNet101를 사용한 1-way 1-shot 설정에서 mIoU 49.5% 및 분류 정확도 비율 49.5%를 기록하여 강력한 일반화 능력을 입증하였다.
• 표준 소수 샘플 분할 벤치마크에서 기존의 FS-S 모델인 HSNet 및 CMN을 크게 능가하였으며, ResNet101 기반 1-way 5-shot 설정에서 FBIoU 72.7%를 기록하였다.
• 정성적 결과 분석에서 ASNet는 객체가 작거나 눈에 띄지 않거나 존재하지 않는 경우에도 정확히 목표 객체를 분할하는 것으로 확인되었고, 반면 기존의 표준 FS-S 모델들은 관련이 없는 눈에 띄는 객체를 잘못 분할하는 경향을 보였다.
• 전이 학습 실험 결과, FS-CS로 학습된 모델이 FS-C 및 FS-S 작업 전반에 걸쳐 효과적으로 일반화됨을 확인하였으며, 작업 간 전이 가능성(task transferability)을 입증하였다.