[논문 리뷰] Generalized Zero-Shot Learning via VAE-Conditioned Generative Flow

Yuchao Gu, Le Zhang외 3명|arXiv (Cornell University)|2020. 09. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 4

한 줄 요약

이 논문은 일반화된 제로샷 러닝(GZSL)을 위한 새로운 조건부 생성 모델인 VAE-cFlow를 제안한다. 이 모델은 변분 오토에인코더(VAE)와 노멀라이징 플로우를 조합하여 미사용 클래스에 대한 고품질의 시각적 특징을 생성한다. 의미 있는 분류 가능 잠재 공간에 의미 있는 의미 기반 기술을 인코딩하고, 역행 가능한 플로우를 통해 정확한 로그우도를 최적화함으로써, 특히 ImageNet21K와 같은 대규모 데이터셋에서 최신 기술 수준의 성능을 달성한다. 각각 M500 및 M1K 분할에서 3.9%와 3.1%의 향상률을 기록한다.

ABSTRACT

Generalized zero-shot learning (GZSL) aims to recognize both seen and unseen classes by transferring knowledge from semantic descriptions to visual representations. Recent generative methods formulate GZSL as a missing data problem, which mainly adopts GANs or VAEs to generate visual features for unseen classes. However, GANs often suffer from instability, and VAEs can only optimize the lower bound on the log-likelihood of observed data. To overcome the above limitations, we resort to generative flows, a family of generative models with the advantage of accurate likelihood estimation. More specifically, we propose a conditional version of generative flows for GZSL, i.e., VAE-Conditioned Generative Flow (VAE-cFlow). By using VAE, the semantic descriptions are firstly encoded into tractable latent distributions, conditioned on that the generative flow optimizes the exact log-likelihood of the observed visual features. We ensure the conditional latent distribution to be both semantic meaningful and inter-class discriminative by i) adopting the VAE reconstruction objective, ii) releasing the zero-mean constraint in VAE posterior regularization, and iii) adding a classification regularization on the latent variables. Our method achieves state-of-the-art GZSL results on five well-known benchmark datasets, especially for the significant improvement in the large-scale setting. Code is released at https://github.com/guyuchao/VAE-cFlow-ZSL.

연구 동기 및 목표

• GAN과 VAE가 일반화된 제로샷 러닝(GZSL)에서 보이는 학습 불안정성과 최적화되지 않은 우도 추정의 한계를 해결하기 위해.
• 실제적이고 다양한 시각적 특징을 생성하면서도 의미를 유지하는 조건부 생성 모델을 개발하기 위해.
• 의미 기반 기술에 기반한 시각적 특징의 정확한 조건부 확률 분포를 모델링하여 GZSL 성능을 향상시키기 위해.
• 재구성 및 분류 목표를 동시 최적화함으로써 잠재 공간이 의미적으로 유의미하고 클래스 간 구분 가능하도록 하기 위해.
• 최적의 GZSL 성능를 위해 합성 특징의 내부 클래스 변동성이 실제 본 클래스 특징과 일치하도록 하는 것이 중요함을 입증하기 위해.

제안 방법

• 이 방법은 의미 기반 기술을 다룰 수 있는 의미적으로 유의미한 잠재 분포로 매핑하기 위해 VAE를 사용하며, 표준의 0 평균 사전분포 대신 분류 정규화된 사후분포를 도입한다.
• 조건부 노멀라이징 플로우(cFlow)는 VAE 기반 잠재 코드를 기반으로 시각적 특징의 정확한 로그우도를 모델링하여 정밀한 밀도 추정을 가능하게 한다.
• VAE 손실은 잠재 코드가 원래 의미 기반 임베딩을 재구성할 수 있도록 보장하여 의미적 유의미성을 강화한다.
• 사후 정규화는 기존의 0 평균 제약 조건을 잠재 변수의 분류 손실로 대체하여 클래스 간 분류 가능성을 향상시킨다.
• 잠재 공간의 샘플링 온도는 내부 클래스 변동성을 제어하며, 실제 본 클래스 특징의 변동성과 일치할 때 최적의 성능을 기록한다.
• 모델은 본 클래스의 특징 수의 12배에 해당하는 규모로 합성된 미사용 클래스 특징을 생성하며, 최적의 성능를 위해 온도를 1.1로 조정한다.

실험 결과

연구 질문

• RQ1 조건부 노멀라이징 플로우를 VAE와 효과적으로 융합하여 GZSL에서 미사용 클래스에 대한 고품질의 시각적 특징을 생성할 수 있는가?
• RQ2 잠재 공간 사전분포 및 정규화 방법의 선택이 조건부 잠재 분포의 의미적 유의미성과 분류 가능성에 미치는 영향은 무엇인가?
• RQ3 합성 특징의 내부 클래스 변동성이 GZSL 성능에 미치는 영향은 무엇이며, 어떻게 제어할 수 있는가?
• RQ4 노멀라이징 플로우를 통해 정확한 로그우도를 최적화하는 것이, 하한 bound를 최적화하는 VAE나 모드 붕괴 문제를 겪는 GAN보다 GZSL에서 더 우수한 성능을 내는가?
• RQ5 제안된 방법은 특히 ImageNet21K와 같은 대규모 설정에서 다양한 데이터셋 크기에서 어떻게 스케일링되는가?

주요 결과

• VAE-cFlow는 ImageNet21K의 M500 분할에서 3.9% 향상, M1K 분할에서 3.1% 향상된 등 다섯 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능를 기록한다.
• 표준 VAE 사후 정규화를 분류 정규화로 대체했을 때, CUB 데이터셋에서 GZSL 성능가 5.2% 향상되고 ZSL 성능가 3.6% 향상된다.
• 합성 특징 생성에 최적의 샘플링 온도는 1.1이며, 이는 실제 본 클래스 특징의 내부 클래스 변동성과 일치하고 GZSL 정확도를 최대화한다.
• 합성된 미사용 특징의 수가 증가함에 따라 성능이 점진적으로 향상되며, 본 클래스 특징 수의 12배에서 최고 성능를 기록한다.
• t-SNE 시각화 결과는 VAE-cFlow가 생성한 합성 특징이 이전 방법보다 실제 데이터와 더 일관됨을 확인한다.
• 대규모 GZSL에서는 뛰어난 성능를 보이지만, VAE 기반 잠재 모델링의 성격상 소규모 ZSL 설정에서는 한계를 보인다.