[논문 리뷰] A Boundary Based Out-of-Distribution Classifier for Generalized Zero-Shot Learning

Xingyu Chen, Xuguang Lan외 2명|arXiv (Cornell University)|2020. 08. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 7

한 줄 요약

이 논문은 일반화된 제로샷 학습(GZSL)을 위한 경계 기반 이상치 탐지(OOD) 분류기를 제안하며, 단위 초구면 상의 공유 잠재 공간을 활용해 본적 클래스의 유한한 다양체를 모델링하기 위해 초구면 변분 오토에코더(SVAE)를 사용한다. 본적 데이터만으로 클래스 중심과 경계를 학습함으로써 훈련 중에 비본적 데이터가 필요 없이도 비본적 샘플을 본적 샘플과 분리할 수 있으며, 이는 두 단계 분류 기반의 성능을 향상시켜 다섯 가지 벤치마크에서 최신 기법들을 초월한다.

ABSTRACT

Generalized Zero-Shot Learning (GZSL) is a challenging topic that has promising prospects in many realistic scenarios. Using a gating mechanism that discriminates the unseen samples from the seen samples can decompose the GZSL problem to a conventional Zero-Shot Learning (ZSL) problem and a supervised classification problem. However, training the gate is usually challenging due to the lack of data in the unseen domain. To resolve this problem, in this paper, we propose a boundary based Out-of-Distribution (OOD) classifier which classifies the unseen and seen domains by only using seen samples for training. First, we learn a shared latent space on a unit hyper-sphere where the latent distributions of visual features and semantic attributes are aligned class-wisely. Then we find the boundary and the center of the manifold for each class. By leveraging the class centers and boundaries, the unseen samples can be separated from the seen samples. After that, we use two experts to classify the seen and unseen samples separately. We extensively validate our approach on five popular benchmark datasets including AWA1, AWA2, CUB, FLO and SUN. The experimental results demonstrate the advantages of our approach over state-of-the-art methods.

연구 동기 및 목표

• 훈련 중에 비본적 샘플이 제공되지 않을 때 GZSL에서 신뢰할 수 있는 게이팅 메커니즘을 설계하는 데 도전한다.
• 비본적 클래스 데이터 없이도 본적 클래스 데이터만을 사용해 본적과 비본적 샘플을 구분하는 OOD 분류기를 개발한다.
• GZSL를 두 개의 별도 문제로 단순화한다: 비본적 클래스에 대한 제로샷 학습과 본적 클래스에 대한 지도 학습 분류.
• 임베딩 및 생성 기반 GZSL 기법에서 흔히 발생하는 특징 혼동 또는 편향 문제를 방지하고 일반화 능력을 향상시킨다.

제안 방법

• 초구면 상의 공유 잠재 공간을 SVAE를 사용해 학습하여 시각적 특징과 의미적 속성을 클래스별로 정렬한다.
• 각 본적 클래스를 초구면 상의 바흐-미제-푸아송(von Mises-Fisher, vMF) 분포로 모델링하며, 평균 방향은 클래스 중심에 해당하고, 집중도는 다양체의 타이트함을 나타낸다.
• vMF 분포의 파라미터를 활용해 잠재 공간 내에서 각 클래스 다양체의 경계를 식별함으로써 이상치 샘플 탐지를 가능하게 한다.
• 클래스 중심과 경계를 사용해 샘플이 다양체 내부(본적)인지 외부(비본적)인지 분류함으로써 이진 OOD 게이트를 구성한다.
• 특징 및 속성의 재구성 손실, 본적 클래스를 분리하기 위한 대비 손실, 이진 게이트를 위한 분류 손실을 조합한 손실 함수를 사용해 OOD 분류기를 엔드 투 엔드로 훈련한다.
• 최종 분류를 위해 두 개의 별도 전문가를 적용한다: 다양체 내부의 본적 샘플에 대한 전문가와 다양체 외부의 비본적 샘플에 대한 전문가로, 두 작업을 분리한다.

실험 결과

연구 질문

• RQ1 공유 잠재 공간 내에서 유한한 다양체를 모델링함으로써 비본적 데이터 없이도 신뢰할 수 있는 OOD 분류기를 훈련시킬 수 있는가?
• RQ2 초구면 잠재 공간 내에서의 클래스 중심과 경계가 비본적 샘플을 본적 샘플과 얼마나 효과적으로 분리하는가?
• RQ3 제안된 경계 기반 OOD 분류기가 ZSL과 지도 학습 분류 작업을 분리함으로써 GZSL 성능을 향상시키는가?
• RQ4 잠재 공간 차원과 하이퍼파rameter의 변화에 대해 이 방법은 얼마나 강인한가?
• RQ5 이 OOD 분류기는 기존의 최신 ZSL 기법들과 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 방법은 전체 목적 함수를 사용할 때 AWA1에서 AUC 85.9%, CUB에서 AUC 75.9%를 기록하며, 분석 버전들보다 뚜렷이 뛰어난 성능을 보였다.
• 대비 손실($L_{cr}$)과 분류 손실($L_{cls}$)을 모두 포함할 경우 OOD 탐지 성능이 최고로 향상되었으며, AWA1에서 AUC가 81.5%에서 85.9%로 상승했다.
• 다양한 하이퍼파rameter 설정에서도 안정적인 성능을 보였으며, $\alpha$와 $\beta$ 설정에 관계없이 AUC 점수가 높게 유지되었다.
• 최적의 잠재 공간 차원은 128이며, 이때 AWA1에서 AUC가 85.9%, CUB에서 75.9%로 최고에 도달했고, 이 이상의 성능 향상은 없었다.
• t-SNE를 통한 시각화 결과 비본적 특징이 본적 클래스의 유한한 다양체 외부에 산재해 있음을 확인했으며, 이는 OOD 탐지 메커니즘이 타당함을 검증한다.
• 이 방법은 AWA1, AWA2, CUB, FLO, SUN 등 다섯 가지 벤치마크 데이터셋에서 최신 기법들을 초월하는 성능을 기록하여 일반화 능력과 강인함을 입증했다.