[논문 리뷰] One-Class Meta-Learning: Towards Generalizable Few-Shot Open-Set Classification

Jedrzej Kozerawski, Matthew Turk|arXiv (Cornell University)|2021. 09. 14.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 소수의 샘플로 한정된 한정된 클래스 및 다수 클래스 열린집합 분류를 위한 두 가지 새로운 메타학습 방법—Meta-BCE와 OCML—을 제안한다. 이는 기존의 소수의 샘플 학습 모델이 재학습 없이도 알려지지 않은 클래스를 탐지할 수 있도록 하며, 성능 저하 없이도 가능하게 한다. 이 방법들은 miniImageNet, tieredImageNet, CUB-200-2011에서 최고 성능을 기록하며, 특히 낮은 샘플 수(저샷) 환경에서 열린집합 및 닫힌집합 설정 모두에서 이전 방법들을 능가한다.

ABSTRACT

Real-world classification tasks are frequently required to work in an open-set setting. This is especially challenging for few-shot learning problems due to the small sample size for each known category, which prevents existing open-set methods from working effectively; however, most multiclass few-shot methods are limited to closed-set scenarios. In this work, we address the problem of few-shot open-set classification by first proposing methods for few-shot one-class classification and then extending them to few-shot multiclass open-set classification. We introduce two independent few-shot one-class classification methods: Meta Binary Cross-Entropy (Meta-BCE), which learns a separate feature representation for one-class classification, and One-Class Meta-Learning (OCML), which learns to generate one-class classifiers given standard multiclass feature representation. Both methods can augment any existing few-shot learning method without requiring retraining to work in a few-shot multiclass open-set setting without degrading its closed-set performance. We demonstrate the benefits and drawbacks of both methods in different problem settings and evaluate them on three standard benchmark datasets, miniImageNet, tieredImageNet, and Caltech-UCSD-Birds-200-2011, where they surpass the state-of-the-art methods in the few-shot multiclass open-set and few-shot one-class tasks.

연구 동기 및 목표

• 표준 방법이 클래스당 샘플 수가 적고 닫힌집합 가정에 의존함으로써 실패하는 소수의 샘플 열린집합 분류 문제를 해결하기 위해.
• 학습 중 배경 카테고리가 별도로 필요로 하지 않는 메타학습 접근법을 개발하여 소수의 샘플 학습 모델이 알려지지 않은 클래스를 탐지할 수 있도록 하기 위해.
• 기존의 소수의 샘플 학습 프레임워크에 높은 닫힌집합 정확도를 유지하면서도 강력한 열린집합 탐지 기능을 추가하기 위해.
• 기존의 소프트맥스 기반 방법이 실패하는 소수의 샘플 일괄 클래스 분류(n=1)를 효과적으로 수행하기 위해.
• 기존의 소수의 샘플 학습 모델과 호환되도록, 재학습 없이도 플러그인 모듈 형태로 추가할 수 있도록 하기 위해.

제안 방법

• Meta-BCE는 이진 교차 엔트로피 손실을 사용하여 일괄 클래스 분류를 위한 별도의 특징 표현을 학습하며, 메타학습을 통해 미리보기 없는 일괄 클래스 예제로의 일반화를 최적화한다.
• OCML은 표준 다중 클래스 특징 표현에서 메타학습된 분류기 헤드를 사용해 일괄 클래스 분류기를 생성함으로써 소수의 샘플 환경에서 열린집합 탐지를 가능하게 한다.
• 두 방법 모두 기존의 소수의 샘플 학습 모델(예: FEAT) 위에 플러그인 모듈 형태로 학습되며, 기본 모델의 학습 과정을 수정하지 않는다.
• 기존의 열린집합 방법과 달리, 이 방법들은 학습 중 배경 또는 알려지지 않은 카테고리 데이터가 필요로 하지 않는다.
• Meta-BCE는 높은 샘플 수 설정(k ≥ 5)을 위해 최적화되었고, OCML은 낮은 샘플 수(k=1) 설정을 위해 설계되었으며, 이는 경험적 성능 트레이드오프에 기반한다.
• 이 방법들은 다양한 n-웨이 및 k-샷 설정에서 일반화 가능한 소수의 샘플 일괄 클래스 및 다중 클래스 열린집합 작업에 적응하기 위해 메타학습을 활용한다.

실험 결과

연구 질문

• RQ1 메타학습은 지원 세트에 단일 클래스만 존재하는 소수의 샘플 일괄 클래스 분류에 효과적으로 적용될 수 있는가?
• RQ2 기존의 소수의 샘플 학습 모델은 재학습 없이도 알려지지 않은 클래스를 탐지할 수 있도록 어떻게 보완할 수 있는가?
• RQ3 학습 중 배경 카테고리 데이터가 필요로 하지 않는 방법이, 그러한 데이터가 필요한 방법보다 소수의 샘플 열린집합 설정에서 성능이 뛰어나게 되는가?
• RQ4 지원 예제 수(k)의 변화에 따라 일괄 클래스 탐지 성능는 어떻게 변하는가?
• RQ5 제안된 방법들은 다양한 소수의 샘플 벤치마크와 네트워크 아키텍처 간에 일반화 가능한가?

주요 결과

• FEAT + OCML은 1-shot 설정에서 tieredImageNet에서 67.76%의 정규화된 정확도를 기록하며, 모든 기준선을 능가한다.
• FEAT + Meta-BCE는 5-shot 설정에서 miniImageNet에서 73.32%의 정규화된 정확도를 기록하며, 기존 최고 성능를 초월한다.
• Meta-BCE는 ResNet-18을 사용하고 k=5일 때 miniImageNet에서 70.98%의 정규화된 정확도를 기록했고, OCML은 k=1일 때 57.60%의 정규화된 정확도를 기록했다.
• 제안된 방법들은 Entropic Open-Set Loss나 Objectosphere와 달리 닫힌집합 정확도를 떨어뜨리지 않는다.
• OCML과 Meta-BCE는 소프트맥스 기반 방법(예: PEELER, OpenMax)보다 일괄 클래스 설정에서 성능이 뛰어나며, 이러한 방법들은 소프트맥스의 한계로 인해 실패하기 때문이다.
• CUB-200-2011에서 FEAT + OCML은 1-shot 설정에서 60.21%의 정규화된 정확도를 기록했고, FEAT + Meta-BCE는 5-shot 설정에서 72.04%의 정규화된 정확도를 기록했으며, 모두 최고 성능이다.