[논문 리뷰] Few-Shot Open-Set Recognition using Meta-Learning

Bo Liu, Hao Kang외 3명|arXiv (Cornell University)|2020. 05. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 5

한 줄 요약

이 논문은 랜덤한 신규 클래스 샘플링, 엔트로피 최대화 손실, 메할라보리스 거리 기반 메트릭 학습을 통합한 소수 샘플(open-set) 인식을 위한 메타학습 프레임워크인 PEELER를 제안한다. PEELER는 CIFAR와 miniImageNet에서 높은 본래 클래스 정확도를 유지하면서도 본래/신규 클래스 탐지에 있어 AUROC를 크게 향상시키며, 소수 샘플 및 대규모 소수 샘플 인식 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The problem of open-set recognition is considered. While previous approaches only consider this problem in the context of large-scale classifier training, we seek a unified solution for this and the low-shot classification setting. It is argued that the classic softmax classifier is a poor solution for open-set recognition, since it tends to overfit on the training classes. Randomization is then proposed as a solution to this problem. This suggests the use of meta-learning techniques, commonly used for few-shot classification, for the solution of open-set recognition. A new oPen sEt mEta LEaRning (PEELER) algorithm is then introduced. This combines the random selection of a set of novel classes per episode, a loss that maximizes the posterior entropy for examples of those classes, and a new metric learning formulation based on the Mahalanobis distance. Experimental results show that PEELER achieves state of the art open set recognition performance for both few-shot and large-scale recognition. On CIFAR and miniImageNet, it achieves substantial gains in seen/unseen class detection AUROC for a given seen-class classification accuracy.

연구 동기 및 목표

• 대규모 분류기의 한계, 특히 훈련 클래스에 과적합하는 경향을 해결하기 위해.
• 소수 샘플 및 대규모 소수 샘플 인식을 하나의 메타학습 프레임워크로 통합하기 위해.
• 메타학습 원리와 메트릭 학습을 활용하여 소수 샘플 인식의 강건성과 일반화 능력을 향상시키기 위해.
• 자원이 제한된 조건에서도 우수한 성능을 내며, 동시에 대규모 설정에서도 강력한 성능을 유지를 할 수 있는 방법을 개발하기 위해.
• 제한된 애너테이션을 가진 약한 감독 하의 객체 탐지 작업에서 이 방법의 효과성을 입증하기 위해.

제안 방법

• 훈련 중에 오픈셋 조건을 시뮬레이션하기 위해 각 에피소드마다 랜덤으로 신규 클래스를 선택하는 에피소드 기반 메타학습을 사용한다.
• 신규 클래스의 예측 후행 엔트로피를 최대화하는 새로운 손실 함수를 도입하여 거부 영역에서의 불확실성을 유도한다.
• 메할라보리스 거리 기반 메트릭 학습 컴포넌트를 사용하여 본래 클래스를 초월한 일반화를 위한 특징 공간의 구조를 향상시킨다.
• 본래 클래스에 대한 교차 엔트로피 손실과 오픈셋 샘플에 대한 엔트로피 최대화 손실을 사용하여 엔드 투 엔드로 모델을 훈련한다.
• 추론 단계에서는 샘플이 가장 가까운 클래스 중심으로부터의 메할라보리스 거리에 따라 본래 클래스로 분류되거나, 신규 클래스로 거부된다.
• 에피소드 샘플링 및 손실 컴포넌트를 수정하여 대규모 인식 설정에 적합하게 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 소수 샘플 분류를 위해 설계된 메타학습 기법을 오픈셋 인식으로 효과적으로 확장할 수 있는가?
• RQ2 신규 클래스에 대해 엔트로피 최대화를 통합하면 오픈셋 탐지 성능이 향상되는가?
• RQ3 제안된 메할라보리스 거리 기반 메트릭 학습 컴포넌트는 오픈셋 인식에서 일반화 능력을 어떻게 향상시키는가?
• RQ4 통합된 모델이 소수 샘플 및 대규모 오픈셋 인식 설정 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 이 방법은 오픈셋 클래스 수와 클래스당 샘플 수의 변동에 대해 얼마나 강건한가?

주요 결과

• PEELER는 소수 샘플 및 대규모 오픈셋 인식 벤치마크에서 모두 최신 기술 수준의 AUROC 성능을 달성하며, CIFAR와 miniImageNet에서 이전 방법들에 비해 상당한 성능 향상을 보였다.
• mini-ImageNet에서 PEELER는 높은 본래 클래스 정확도를 유지하면서도 AUROC를 크게 향상시켜 강력한 일반화 능력을 입증했다.
• 다양한 오픈셋 클래스 수(1~10)와 클래스당 샘플 수에 대해 성능 변동이 최소한이었으며, 이는 해당 요소들에 대한 강건성을 시사한다.
• XJTU-Stevens 데이터셋에서의 약한 감독 하의 객체 탐지 작업에서 PEELER는 기존 최고 성능 방법(VODC)을 능가했으며, 모든 설정에서 잘못 분류된 프레임 수를 절반 이하로 줄였다.
• 제거 실험을 통해 엔트로피 최대화 손실과 메할라보리스 거리 기반 메트릭 학습이 성능 향상에 핵심적인 역할을 함을 확인했으며, 특히 오픈셋 탐지에서 중요하다.
• 메타학습 기반 아키텍처는 표준 교차 엔트로피 기반 분류기보다 분포 이탈에 더 강건한 경향을 보이며, 소수 샘플에서 대규모 설정으로의 일반화 능력이 뛰어나다.