[논문 리뷰] Learning Feature-to-Feature Translator by Alternating Back-Propagation for Generative Zero-Shot Learning

Yizhe Zhu, Jianwen Xie외 2명|arXiv (Cornell University)|2019. 04. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 66인용 수 13

한 줄 요약

이 논문은 보조 네트워크 없이 상태의 최고 성능을 달성하는 생성형 제로샷 러닝 프레임워크를 제안한다. 단일 조건부 생성자 모델을 교차 역전파(ABP)로 훈련하여 클래스 수준의 의미적 특징과 노이즈를 시각적 특징으로 매핑하며, 보조 네트워크 없이도 최신 기술을 초월한다. 일반화된 ZSL에서 최대 4.0% 향상되며, 완전하지 않은 시각적 특징에 대해서도 강인하게 작동한다.

ABSTRACT

We investigate learning feature-to-feature translator networks by alternating back-propagation as a general-purpose solution to zero-shot learning (ZSL) problems. It is a generative model-based ZSL framework. In contrast to models based on generative adversarial networks (GAN) or variational autoencoders (VAE) that require auxiliary networks to assist the training, our model consists of a single conditional generator that maps class-level semantic features and Gaussian white noise vector accounting for instance-level latent factors to visual features, and is trained by maximum likelihood estimation. The training process is a simple yet effective alternating back-propagation process that iterates the following two steps: (i) the inferential back-propagation to infer the latent factors of each observed example, and (ii) the learning back-propagation to update the model parameters. We show that, with slight modifications, our model is capable of learning from incomplete visual features for ZSL. We conduct extensive comparisons with existing generative ZSL methods on five benchmarks, demonstrating the superiority of our method in not only ZSL performance but also convergence speed and computational cost. Specifically, our model outperforms the existing state-of-the-art methods by a remarkable margin up to 3.1% and 4.0% in ZSL and generalized ZSL settings, respectively.

연구 동기 및 목표

• 미리보지 않은 클래스에 대한 학습 데이터가 존재하지 않는 제로샷 러닝(ZSL) 문제를 해결하기 위해.
• 생성형 ZSL 모델에서 판별기(GAN)나 인코더(VAE)와 같은 보조 네트워크가 필요 없도록 제거하기 위해.
• 계산이 복잡한 사후확률이 존재하는 최대우도추정 기반의 단순하고 효율적이며 효과적인 훈련 방법을 개발하기 위해.
• 실제 환경에서 흔한 부분적으로 손실된 시각적 특징으로부터 강인한 학습을 가능하게 하기 위해.
• 기존의 생성형 ZSL 프레임워크에 비해 수렴 속도와 계산 효율성을 향상시키기 위해.

제안 방법

• 모델은 클래스 수준의 의미적 특징과 가우시안 노이즈를 입력으로 받아 시각적 특징으로 매핑하는 단일 조건부 생성자로 구성되며, 특징 간 번역기 역할을 한다.
• 훈련은 교차 역전파(ABP) 알고리즘을 사용하여 반복적으로 추론 역전파와 학습 역전파 단계를 수행한다.
• 추론 역전파 단계에서는 MCMC 샘플링을 이용한 랭글레인 역동법을 통해 잠재 요소를 추론하며, 기울기는 역전파를 통해 계산한다.
• 학습 역전파 단계에서는 추론된 잠재 요소를 사용해 로그우도에 대한 기울기 상승을 통해 모델 파라미터를 갱신한다.
• 이 방법은 최대우도추정과 유사한 EM 전략을 기반으로 하며, 적대적 훈련이나 변분 추론이 필요 없도록 한다.
• 추론 과정에서 누락된 값을 잠재 변수로 간주함으로써, 완전하지 않은 시각적 특징에 대한 적용이 가능하도록 프레임워크를 유연하게 조정할 수 있다.

실험 결과

연구 질문

• RQ1 최대우도추정을 통해 훈련된 단일 조건부 생성자 모델이 보조 네트워크 없이 제로샷 러닝에서 최신 기술을 초월하는 성능을 달성할 수 있는가?
• RQ2 교차 역전파 알고리즘이 수렴성과 안정성 측면에서 적대적 훈련이나 변분 훈련에 비해 어떻게 비교되는가?
• RQ3 시각적 특징이 부분적으로 손실된 상황에서 모델의 일반화 능력은 어느 정도로 유지되는가?
• RQ4 실제 클래스 불균형 상황을 반영하기 위해 볼 수 있는 클래스 수가 증가함에 따라 모델은 어떻게 스케일링되는가?
• RQ5 최소한의 레이블 데이터로도 미리보지 않은 클래스에 대해 고품질의 합성 시각적 특징을 생성할 수 있는가?

주요 결과

• 제안된 방법은 기존 최신 기술 대비 벤치마크 데이터셋에서 일반화된 제로샷 러닝 정확도에서 최대 4.0% 향상된 성능을 달성한다.
• CUB 데이터셋에서, 미리보지 않은 클래스당 하나의 합성 샘플만으로도 50.1%의 top-1 정확도를 달성하여 FGZSL(29.1%)과 VZSL를 압도한다.
• 클래스당 300개의 합성 샘플을 사용할 경우 성능이 포화 상태에 도달함을 확인하여 안정적이고 일관된 생성 품질을 입증한다.
• 높은 누락 비율 조건에서도 뛰어난 성능 유지를 보이며, 시각적 특징의 90%가 누락된 상태에서 51.6%의 정확도를 기록하여 GAZSL(37.7%)보다 뚜렷이 뛰어나다.
• 보조 네트워크가 없기 때문에 GAN 및 VAE 기반 방법에 비해 파라미터 수가 적고 계산 비용도 낮아, 더 효율적인 성능을 달성한다.
• 볼 수 있는 클래스 수가 증가함에 따라 일반화된 ZSL에서 볼 수 있는 클래스(A_U)의 정확도는 유지되며, 볼 수 있는 클래스(A_S)의 성능도 수용 가능한 수준을 유지함으로써 강인한 일반화 능력을 입증한다.