[논문 리뷰] Few-shot Open-set Recognition by Transformation Consistency

Minki Jeong, Seokeon Choi외 1명|arXiv (Cornell University)|2021. 03. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 6

한 줄 요약

이 논문은 변환 일관성(Transformation Consistency)을 활용하여 가짜 볼 수 없는 데이터에 의존하지 않고도 미지 클래스 샘플을 탐지하는 새로운 소수 샘플 오픈세트 인식 방법인 SnaTCHer를 제안한다. 쿼리 특징이 예측된 클래스의 프로토타입을 대체한 수정된 프로토타입 세트와 변환된 프로토타입 간의 불일치를 측정하여, 볼 수 없는 샘플 탐지 성능을 향상시킨다. 이로 인해 닫힌세트 분류 성능을 떨어뜨리지 않은 채 다양한 소수 샘플 벤치마크에서 최신 기준(AUROC) 성능을 달성한다.

ABSTRACT

In this paper, we attack a few-shot open-set recognition (FSOSR) problem, which is a combination of few-shot learning (FSL) and open-set recognition (OSR). It aims to quickly adapt a model to a given small set of labeled samples while rejecting unseen class samples. Since OSR requires rich data and FSL considers closed-set classification, existing OSR and FSL methods show poor performances in solving FSOSR problems. The previous FSOSR method follows the pseudo-unseen class sample-based methods, which collect pseudo-unseen samples from the other dataset or synthesize samples to model unseen class representations. However, this approach is heavily dependent on the composition of the pseudo samples. In this paper, we propose a novel unknown class sample detector, named SnaTCHer, that does not require pseudo-unseen samples. Based on the transformation consistency, our method measures the difference between the transformed prototypes and a modified prototype set. The modified set is composed by replacing a query feature and its predicted class prototype. SnaTCHer rejects samples with large differences to the transformed prototypes. Our method alters the unseen class distribution estimation problem to a relative feature transformation problem, independent of pseudo-unseen class samples. We investigate our SnaTCHer with various prototype transformation methods and observe that our method consistently improves unseen class sample detection performance without closed-set classification reduction.

연구 동기 및 목표

• 소수의 레이블이 부여된 예시만을 사용하여 보이는 클래스를 분류하고, 보이지 않는 클래스를 탐지해야 하는 소수 샘플 오픈세트 인식(FSOSR) 문제에 도전한다.
• 가짜 볼 수 없는 샘플의 품질과 구성에 크게 의존하는 기존 방법의 한계를 극복한다.
• 가짜 볼 수 없는 샘플이 필요 없고 모델에 관계없이 적용 가능한, 소수 샘플 환경에서의 미지 샘플 탐지 방법을 개발한다.
• 미지 샘플 탐지 성능을 크게 향상시키면서도 높은 닫힌세트 분류 정확도를 유지한다.

제안 방법

• 쿼리의 예측된 프로토타입을 쿼리 특징 자체로 대체한 후, 변환된 프로토타입 간의 특징 일관성 평가를 통해 기반을 두는 변환 일관성 기반 탐지기인 SnaTCHer를 제안한다.
• 작업 적응형 특징 변환기(Task-adaptive feature transformer)를 사용하여 상대적 특징 관계를 유지하는 변환된 프로토타입 공간을 생성한다.
• 프로토타입 대체 후 쿼리와 가장 가까운 변환된 프로토타입 간의 정규화된 거리 점수를 계산하여 이질성(Anomaly)을 탐지한다.
• 정규화 기반 및 거리 기반 변환 방법을 다양한 방식으로 적용하여 탐지 성능의 강건성을 향상시킨다.
• 특징 추출기의 경우 표준 소수 샘플 학습 목표를 통해 엔드 투 엔드로 훈련하고, SnaTCHer는 추론 시 플러그인 탐지기로 작동한다.
• 변환에 의해 유도된 불일치의 크기를 신뢰도 점수로 사용한다: 불일치가 클수록 미지 샘플일 가능성이 높다.

실험 결과

연구 질문

• RQ1 소수 샘플 오픈세트 인식 시스템이 가짜 볼 수 없는 데이터나 볼 수 없는 클래스의 분포에 대한 가정 없이도, 미지 샘플을 탐지할 수 있는가?
• RQ2 낮은 데이터 환경에서 변환 일관성 기반 접근 방식이 직접적인 거리 기반 방법에 비해 미지 샘플 탐지 성능을 어떻게 향상시키는가?
• RQ3 SnaTCHer는 오픈세트 탐지 성능을 향상시키는 동안 닫힌세트 분류 정확도를 얼마나 잘 유지하는가?
• RQ4 실제 소수 샘플 환경에서 미지 샘플의 수와 분포가 변할 경우 SnaTCHer는 얼마나 강건한가?
• RQ5 보이는 클래스와 볼 수 없는 클래스가 서로 다른 데이터 분포에서 올 경우, SnaTCHer는 도메인 이동에 대해 얼마나 일반화 가능한가?

주요 결과

• SnaTCHer는 tieredImageNet-CUB 5-shot 크로스도메인 FSOSR 벤치마크에서 최신 기준인 AUROC 91.83%를 달성하여 PEELER를 크게 앞서며 성능을 뛰어나게 했다.
• 5-way 5-shot tieredImageNet 벤치마크에서 SnaTCHer-L는 AUROC 82.03%를 기록했으며, 이는 이전 최고 성능 기준인 PEELER를 6个百分点 이상 앞서는 성과였다.
• SnaTCHer는 높은 닫힌세트 분류 정확도를 유지하면서도 미지 탐지 성능을 향상시켰다. 예를 들어, tieredImageNet 5-way 1-shot에서 70.85%의 정확도를 기록했으며, 성능 저하 없이도 탐지 성능 향상을 입증했다.
• 다양한 수의 미지 샘플에 대한 아블레이션 연구를 통해, 성능이 다양한 미지 데이터 구성에서도 안정적으로 유지됨을 확인했다.
• 히스토GRAM 분석 결과, 알려진 샘플은 프로토타입과 정규화된 거리가 훨씬 작게 나타나, 알려진과 미지 샘플의 특징 공간이 명확히 구분됨을 검증했다.
• 변환 일관성의 활용으로 알려진 샘플과 미지 샘플 간의 분리가 증폭되어, 직접적인 거리 기반 점수보다 더 높은 AUROC 성능을 달성했다.