[논문 리뷰] Generating Visual Representations for Zero-Shot Classification

Maxime Bucher, Stéphane Herbin외 1명|arXiv (Cornell University)|2017. 08. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 17

한 줄 요약

이 논문은 미사전 학습된 클래스의 의미적 속성에서 인공 시각적 특징을 합성하는 조건부 생성 모델을 훈련시켜, ZSC(제로샷 분류)를 표준 지도 학습 문제로 변환함으로써 제로샷 분류(ZSC) 및 일반화된 제로샷 분류(GZSC)를 위한 새로운 접근법을 제안한다. 이 방법은 4종의 생성 모델을 사용하여 5개의 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 분류기의 판별 능력을 가능하게 함으로써 이전의 임bedding 기반 방법보다 크게 슈퍼리어하다.

ABSTRACT

This paper addresses the task of learning an image clas-sifier when some categories are defined by semantic descriptions only (e.g. visual attributes) while the others are defined by exemplar images as well. This task is often referred to as the Zero-Shot classification task (ZSC). Most of the previous methods rely on learning a common embedding space allowing to compare visual features of unknown categories with semantic descriptions. This paper argues that these approaches are limited as i) efficient discrimi-native classifiers can't be used ii) classification tasks with seen and unseen categories (Generalized Zero-Shot Classification or GZSC) can't be addressed efficiently. In contrast , this paper suggests to address ZSC and GZSC by i) learning a conditional generator using seen classes ii) generate artificial training examples for the categories without exemplars. ZSC is then turned into a standard supervised learning problem. Experiments with 4 generative models and 5 datasets experimentally validate the approach, giving state-of-the-art results on both ZSC and GZSC.

연구 동기 및 목표

• 공유 임베딩 공간에 의존하는 기존 ZSC 방법의 한계를 극복하고, 판별 분류기를 효과적으로 활용할 수 있도록 하기 위해.
• 시험 시기에 본래의 클래스와 새로운 클래스가 모두 존재하는 일반화된 제로샷 분류(GZSC)에서 발생하는 편향 문제를 해결하기 위해.
• 새로운 클래스에 대한 인공 학습 예제를 생성함으로써 ZSC에서 강력한 딥 판별 모델을 사용할 수 있도록 하기 위해.
• 표준 ZSC 및 대규모 GZSC 환경에서 생성 특징 합성의 효과성을 검증하기 위해.

제안 방법

• 미사전 학습된 클래스의 의미적 속성에서 인공 시각적 특징 표현으로 매핑하는 조건부 생성 모델(GAN, VAE, 또는 VAE-GAN 등)을 훈련한다.
• 본래의 클래스 이미지 특징 및 해당 속성을 사용하여 생성 모델을 지도 학습시켜, 속성에서 시각적 특징으로의 매핑을 학습한다.
• 실제 학습 데이터(본래 클래스)와 생성된 인공 데이터(새로운 클래스)를 결합하여 판별 분류기(SVM 또는 신경망 등)를 훈련한다.
• 클래스 이름을 조밀한 의미 벡터로 표현하기 위해 사전 학습된 단어 임베딩(예: 500D의 skip-gram)을 활용한다.
• 일반화 성능 향상을 위해 훈련 중에 데이터 증강 기법을 적용한다.
• 추론 시기에 모든 새로운 클래스에 대해 생성 모델을 사용하여 인공 특징을 생성함으로써 엔드 투 엔드 분류를 가능하게 한다.

실험 결과

연구 질문

• RQ1 의미적 속성에서 인공 시각적 특징을 생성하는 것이 기존의 임베딩 기반 방법에 비해 제로샷 분류 성능을 향상시키는가?
• RQ2 시험 시기에 본래 클래스와 새로운 클래스가 모두 존재하는 일반화된 제로샷 분류(GZSC)에서 제안된 방법이 편향 문제를 효과적으로 완화하는가?
• RQ3 새로운 클래스에 대한 학습 데이터를 합성함으로써 판별 분류기를 ZSC에 성공적으로 적용할 수 있는가?
• RQ4 클래스 계층의 다양한 수준(예: 2단계, 3단계, 모든 새로운 클래스)에서 제안된 방법의 성능 스케일링은 어떻게 되는가?
• RQ5 다양한 생성 모델(GAN, VAE 등)이 합성된 특징의 품질과 최종 분류 정확도에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 CUB, AwA, aP&Y, SUN 포함 5개의 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하였으며, VGG 특징을 사용할 경우 CUB에서 15% 이상의 성능 향상을 기록하였다.
• 2단계 ZSC 시나리오에서, 제안된 방법은 기존 최고 성능 기준 대비 Flat-Hit@1에서 5%p 향상되었다.
• SUN 데이터셋에서는 VGG-19 특징을 사용하여 88.01%의 정확도를 달성하였으며, MIT Places 사전 학습된 특징을 사용한 이전 최신 기술 수준 방법들을 초월하였다.
• 실제 및 인공 예제를 모두 사용하여 본래 클래스와 새로운 클래스를 동시에 훈련함으로써 GZSC에서의 편향을 크게 감소시켰으며, 전통적인 ZSC 방법에서 흔히 발생하는 결정 편향을 피할 수 있었다.
• 합성된 특징에 판별 분류기를 적용한 결과, 기존의 호환성 점수 기반 ZSC 방법보다 더 높은 성능을 기록하였으며, 이는 판별 학습이 인공 데이터로부터 유의미한 이점을 얻을 수 있음을 검증한 것이다.
• 다양한 생성 모델(GAN, VAE, VAE-GAN 등)에 대해 잘 일반화되며, 대규모 ZSC 작업에 대한 강건성과 확장성을 입증하였다.