[논문 리뷰] StarNet: towards weakly supervised few-shot detection and explainable few-shot classification

Leonid Karlinsky, Joseph Shtok외 9명|arXiv (Cornell University)|2020. 03. 15.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

StarNet는 이미지 수준 레이블만을 사용하여 약한 감독 하에 소수 샘플 검출과 설명 가능한 소수 샘플 분류를 가능하게 하는 엔드 투 엔드 미분 가능한 비모수성 스타모델 분류 헤드를 도입한다. 스타모델을 통해 쿼리 및 서포트 이미지를 기하학적으로 정렬함으로써 CUB와 ImageNetLOC-FS에서 최신 기술 수준의 성능을 달성하며, 예측의 해석 가능성을 위한 객체 국소화를 수행한다.

ABSTRACT

Few-shot learning for classification has advanced significantly in recent years. Yet, these approaches rarely provide interpretability related to their decisions or localization of objects in the scene. In this paper, we introduce StarNet, featuring an end-to-end differentiable non-parametric star-model classification head. Through this head, the backbone is meta-trained using only image-level labels to produce good features for classifying previously unseen categories of few-shot test tasks using a star-model that geometrically matches between the query and support images. This also results in localization of corresponding object instances (on the query and best matching support images), providing plausible explanations for StarNet's class predictions. We evaluate StarNet on multiple few-shot classification benchmarks attaining significant gains on CUB and ImageNetLOC-FS. In addition, we test the proposed approach on the previously unexplored and challenging task of Weakly Supervised Few-Shot Object Detection (WS-FSOD), obtaining significant improvements over the baselines.

연구 동기 및 목표

• 기존의 소수 샘플 분류 방법에서의 해석 가능성 부족 및 객체 국소화 부재 문제를 해결한다.
• 오직 이미지 수준 레이블만 제공되는 약한 감독 하에 소수 샘플 객체 검출을 가능하게 한다.
• 쿼리 및 서포트 이미지 간 기하학적 정렬을 활용한 메타학습 프레임워크를 개발하여 소수 샘플 일반화 성능을 향상시킨다.
• 쿼리 및 서포트 이미지에서 해당 객체 인스턴스를 국소화함으로써 모델 예측에 대한 타당한 시각적 설명을 제공한다.
• 소수 샘플 학습의 적용 가능성을 도전적인 약한 감독 하에 소수 샘플 객체 검출(WS-FSOD) 과제로 확장한다.

제안 방법

• 기하학적 일致성에 기반해 쿼리 및 서포트 이미지 간 특징을 매칭할 수 있도록 학습하는, 미분 가능한 비모수성 스타모델 분류 헤드를 도입한다.
• 새로운 소수 샘플 카테고리에 대한 구분 능력을 갖춘 특징을 추출하기 위해 오직 이미지 수준 레이블만을 사용하여 백본을 메타학습한다.
• 스타모델을 활용해 쿼리 및 서포트 이미지 특징 간 공간적 대응 관계를 강제함으로써 특징의 공동 정렬 및 분류를 가능하게 한다.
• 스타모델에서 생성된 어텐션 맵을 활용해 쿼리 및 서포트 이미지에서 객체 인스턴스를 국소화함으로써 해석 가능성을 제공한다.
• 백본과 스타모델 헤드가 함께 최적화될 수 있도록 backpropagation을 통해 모델을 엔드 투 엔드로 훈련시킨다.
• 학습된 특징을 소수 샘플 분류 및 약한 감독 하에 소수 샘플 객체 검출 과제에 적용한다.

실험 결과

연구 질문

• RQ1 약한 감독 하에 소수 샘플 분류 모델이 국소화된 어텐션을 통해 높은 정확도와 해석 가능성을 동시에 달성할 수 있는가?
• RQ2 스타모델을 통한 기하학적 특징 매칭이 새로운 카테고리에 대한 소수 샘플 일반화 성능을 얼마나 향상시킬 수 있는가?
• RQ3 동일한 프레임워크를 경계 박스 레이블 없이 약한 감독 하에 소수 샘플 객체 검출로 확장할 수 있는가?
• RQ4 스타모델이 예측에 대한 설명을 위해 쿼리 및 서포트 이미지에서 관련 객체 영역을 얼마나 효과적으로 국소화하는가?
• RQ5 제안된 방법이 CUB 및 ImageNetLOC-FS와 같은 도전적인 소수 샘플 벤치마크에서 기존 베이스라인을 초월하는가?

주요 결과

• StarNet는 소수 샘플 분류에 대해 CUB 벤치마크에서 기존 방법들을 능가하는 상당한 성능 향상을 달성한다.
• ImageNetLOC-FS에서 최신 기술 수준의 결과를 확보함으로써 복잡한 미세 분류 소수 샘플 과제에 강력한 일반화 능력을 보여준다.
• 최근 도입된 약한 감독 하에 소수 샘플 객체 검출(WS-FSOD) 벤치마크에서 상당한 성능 향상을 이룩하며 기존 베이스라인을 압도한다.
• 스타모델 헤드는 쿼리 및 서포트 이미지에서 객체 인스턴스를 정확하게 국소화하여 예측에 대한 시각적 설명을 제공한다.
• 메타학습 중에 오직 이미지 수준 레이블만을 사용함으로써 경계 박스 레이블이 필요 없이 효과적인 소수 샘플 일반화가 가능하다.
• 미분 가능한 스타모델 헤드 덕분에 엔드 투 엔드 훈련이 가능해져 특징 정렬 및 분류 성능이 향상된다.