[논문 리뷰] Glocal Energy-based Learning for Few-Shot Open-Set Recognition

Haoyu Wang, Guansong Pang외 4명|arXiv (Cornell University)|2023. 04. 24.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 전역(클래스별) 및 국소(픽셀별) 특징 표현을 결합하여 글로벌 에너지 점수를 계산하는 새로운 소수의 오픈세트 인식 프레임워크인 Glocal Energy-based Learning(GEL)을 제안한다. 전역 의미적 또는 세밀한 외관에서 벗어나는 샘플에 대해 높은 에너지 점수를 부여함으로써, GEL은 세 가지 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존 방법보다 닫힘세트 정확도와 오픈세트 탐지(AUROC) 모두에서 뛰어난 성능을 보인다.

ABSTRACT

Few-shot open-set recognition (FSOR) is a challenging task of great practical value. It aims to categorize a sample to one of the pre-defined, closed-set classes illustrated by few examples while being able to reject the sample from unknown classes. In this work, we approach the FSOR task by proposing a novel energy-based hybrid model. The model is composed of two branches, where a classification branch learns a metric to classify a sample to one of closed-set classes and the energy branch explicitly estimates the open-set probability. To achieve holistic detection of open-set samples, our model leverages both class-wise and pixel-wise features to learn a glocal energy-based score, in which a global energy score is learned using the class-wise features, while a local energy score is learned using the pixel-wise features. The model is enforced to assign large energy scores to samples that are deviated from the few-shot examples in either the class-wise features or the pixel-wise features, and to assign small energy scores otherwise. Experiments on three standard FSOR datasets show the superior performance of our model.

연구 동기 및 목표

• 희귀 클래스에 대한 예제가 적은 조건에서 알려진 클래스를 분류하고 동시에 알려지지 않은 클래스를 탐지해야 하는 소수의 오픈세트 인식(FSOR) 문제에 대응한다.
• 기존 FSOR 방법들이 클래스별 특징에만 의존하여 전반적인 의미는 유사하지만 국소 세부 정보가 다른 오픈세트 샘플을 탐지하지 못하는 한계를 극복한다.
• 이중 브랜치 에너지 기반 모델을 사용하여 닫힘세트 분류와 오픈세트 탐지의 이중 최적화를 통합한 프레임워크를 개발한다.
• 글로벌 의미적 특징과 세밀한 공간적 특징을 동시에 활용하여 glocal 에너지 점수 기반의 종합적인 오픈세트 샘플 탐지 기능을 제공한다.

제안 방법

• 이중 브랜치 아키텍처를 제안: 하나의 브랜치는 클래스별 특징을 사용한 닫힘세트 분류를 위해, 다른 브랜치는 클래스별 및 픽셀별 특징을 모두 사용한 오픈세트 인식을 위해 설계한다.
• 클래스별 특징에 기반한 전역 에너지 점수와 픽셀별 특징에 기반한 국소 에너지 점수를 조합하여 구성된 glocal 에너지 점수를 도입하여 알려진 클래스에서의 이탈을 탐지한다.
• 전역 의미나 국소 외관에서 벗어나면 높은 에너지 점수를, 그렇지 않으면 낮은 점수를 할당하도록 연합 최적화 목표를 통해 모델을 강제한다.
• 학습 가능한, 고정된, 또는 작업에 적응하는 계수를 통해 클래스별 및 픽셀별 에너지 점수를 조합하며, 분석 결과 고정 계수 전략이 오픈세트 성능을 가장 높게 낳는다.
• 쿼리와 서포트 세트 임베딩 간의 특징 거리를 계산하기 위해 코사인 유사도 기반의 메트릭 기반 프로토타입 학습 전략을 사용한다.
• 기능 공간에서 알려진 샘플과 알려지지 않은 샘플 간의 분리를 유도하기 위해 마진 기반 손실을 적용하여 오픈세트 탐지의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 제한된 감독 하에 소수의 분류와 오픈세트 탐지의 균형을 효과적으로 유지할 수 있는 통합 모델이 가능한가?
• RQ2 전역(클래스별) 및 국소(픽셀별) 특징을 모두 통합함으로써, 알려진 클래스와 시각적으로 유사하지만 세부 외관이 다른 알려지지 않은 샘플을 개선된 성능으로 탐지할 수 있는가?
• RQ3 전체 에너지 점수 조합이 전역 또는 국소 특징만 사용하는 것과 비교해 오픈세트 인식 성능에 어떤 영향을 미치는가?
• RQ4 클래스별 및 픽셀별 에너지 점수를 조합하는 데 최적의 전략은 무엇인가? 고정, 학습 가능한, 또는 작업에 적응하는 계수인가?
• RQ5 k-최근접 이웃 선택에서의 k 값과 손실 함수의 마진 거리와 같은 하이퍼파rameter 선택에 대해 제안된 방법은 얼마나 강건한가?

주요 결과

• GEL은 세 가지 표준 FSOR 기준 데이터셋인 miniImageNet, tieredImageNet, CUB에서 최신 기술 수준의 성능을 달성하였으며, 5-way 5-shot 설정에서 miniImageNet에서 83.05%의 정확도와 82.29%의 AUROC를 기록하였다.
• miniImageNet 5-way 1-shot 설정에서 GEL은 83.00%의 정확도와 80.67%의 AUROC를 기록하여 기존 방법보다 오픈세트 탐지 능력에서 뛰어난 성능을 보였다.
• 절단 분석 결과, glocal 에너지 점수의 고정 계수 조합 전략이 가장 높은 AUROC(82.29%)를 기록하였으며, 학습 가능한 및 작업에 적응하는 변형보다 뛰어났다.
• 제안된 방법은 하이퍼파ram터 선택에 대해 강건하다: k-NN 선택에서 다양한 k 값에 따른 AUROC 변화는 0.08 이내로 매우 미미하며, 더 작은 마진 거리 값이 성능 향상에 기여한다.
• 픽셀별 특징의 통합은 전반적인 의미는 유사하지만 국소 질감이나 외관에서 다름을 보이는 오픈세트 샘플을 탐지할 수 있게 하여, 이는 기존 방법이 실패하는 케이스이다.
• 분류 및 에너지 추정을 별도로 처리하는 이중 브랜치 설계는 일반화 능력을 향상시켰으며, 모든 설정에서 정확도와 AUROC 모두 일관된 향상을 보였다.