[논문 리뷰] Feature Generating Networks for Zero-Shot Learning

Yongqin Xian, Tobias Lorenz외 2명|arXiv (Cornell University)|2017. 12. 04.

Domain Adaptation and Few-Shot Learning인용 수 17

한 줄 요약

이 논문은 시맨틱 클래스 기술자(semantic class descriptors)를 사용하여 미학습 클래스의 딥 CNN 특징을 합성하는 조건부 생성 적대적 네트워크인 f-CLSWGAN을 제안한다. 학습은 워셔스타인 GAN 손실과 분류 손실을 함께 사용하여 구분 가능한 특징을 생성한다. 이 방법은 이미지를 생성하는 것이 아니라 고품질의 특징을 직접 생성하기 때문에, 다섯 개인 데이터셋에서 제로샷 학습 및 일반화된 제로샷 학습 설정 모두에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Suffering from the extreme training data imbalance between seen and unseen classes, most of existing state-of-the-art approaches fail to achieve satisfactory results for the challenging generalized zero-shot learning task. To circumvent the need for labeled examples of unseen classes, we propose a novel generative adversarial network (GAN) that synthesizes CNN features conditioned on class-level semantic information, offering a shortcut directly from a semantic descriptor of a class to a class-conditional feature distribution. Our proposed approach, pairing a Wasserstein GAN with a classification loss, is able to generate sufficiently discriminative CNN features to train softmax classifiers or any multimodal embedding method. Our experimental results demonstrate a significant boost in accuracy over the state of the art on five challenging datasets -- CUB, FLO, SUN, AWA and ImageNet -- in both the zero-shot learning and generalized zero-shot learning settings.

연구 동기 및 목표

• 미학습 클래스에 대한 학습 예제가 존재하지 않는 제로샷 학습에서의 극심한 데이터 불균형 문제를 해결하기 위해.
• 일반적으로 저품질이거나 구분성이 없는 이미지를 생성하는 이미지 기반 데이터 생성의 한계를 극복하기 위해.
• 특징 조건부 CNN 특징을 생성함으로써 일반화된 제로샷 학습에서 소프트맥스 분류기의 효과적인 학습을 가능하게 하는 특징 생성 프레임워크를 개발하기 위해.
• 일반화된 제로샷 학습을 생성 모델의 품질과 일반화 능력을 평가하기 위한 강력한 프록시 과제로 정립하기 위해.

제안 방법

• 클래스 수준의 시맨틱 임베딩(예: 속성, 문장, word2vec 벡터 등)을 조건으로 사용하는 조건부 GAN인 f-CLSWGAN을 제안한다.
• 디스커미네이터의 1-Lipschitz 제약 조건을 강제하고 학습을 안정화하기 위해 기울기 페널티를 적용한 워셔스타인 GAN 손실을 사용한다.
• 생성자(generator)가 소프트맥스 분류기에 의해 쉽게 분리 가능한 특징을 생성하도록 정규화하는 새로운 분류 손실을 도입한다.
• 잠재 노이즈 벡터와 시맨틱 기술자를 입력으로 받아 클래스 조건부 특징 분포를 생성하도록 생성자를 훈련함으로써, 이미지 생성을 생략한다.
• 특징 추출을 위해 딥 CNN 백본(예: ResNet 또는 GoogleNet)을 사용하여, 다양한 아키텍처에 일반화 가능한 프레임워크를 확보한다.
• 생성된 특징을 사용해 표준 분류기(예: 소프트맥스)를 훈련시키며, 이미지 수준의 생성보다 특징 수준의 생성이 성능 면에서 뛰어나다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 이미지 대신 CNN 특징을 생성하는 것이 제로샷 학습 과제에서 더 나은 성능을 이끌 수 있는가?
• RQ2 워셔스타인 GAN과 분류 손실을 조합하면, 미학습 클래스에 대한 특징 품질과 일반화 능력이 향상되는가?
• RQ3 특징 공간에서 훈련된 생성 모델이 다양한 데이터셋에서 일반화된 제로샷 학습에서 최신 기술(SOTA) 성능을 달성할 수 있는가?
• RQ4 일반화된 제로샷 학습은 생성 모델의 표현 능력을 평가하기 위한 신뢰할 수 있는 프록시로 기능하는가?

주요 결과

• f-CLSWGAN은 일반화된 제로샷 학습 설정에서 CUB에서 54.0%, FLO에서 65.6%의 조화 평균 정확도를 달성하여, 기준 모델 및 이미지 기반 생성 방법을 크게 앞서간다.
• CUB 데이터셋에서 f-CLSWGAN는 생성된 특징을 사용함으로써, 생성 없이 45.1%였던 조화 평균 정확도를 54.0%로 향상시켰으며, StackGAN을 통한 이미지 생성은 성능을 31.9%로 떨어뜨렸다.
• FLO 데이터셋에서는 생성 없이 21.9%였던 조화 평균 정확도가 특징 생성을 통해 65.6%로 상승하여, 다양한 데이터셋에서 일관된 성능 향상을 입증했다.
• StackGAN을 통한 이미지 생성은 CUB에서 구분성이 떨어지는 세부 정보 부족으로 성능 저하를 초래한 반면, 특징 생성은 고품질의 클래스 일관성 있는 표현을 유지했다.
• 제안된 방법은 일반화된 제로샷 학습에서 단순한 소프트맥스 분류기를 사용할 수 있도록 했으며, 이는 이전에는 도메인 이동과 미학습 클래스 예제 부족으로 인해 이러한 모델이 접근할 수 없었던 설정이다.
• 결과는 일반화된 제로샷 학습이 생성 모델의 표현 능력을 평가하기 위한 신뢰할 수 있고 정량적인 기준으로 사용될 수 있음을 지지하며, 수작업 이미지 검토를 보완한다.