[논문 리뷰] Exemplar VAEs for Exemplar based Generation and Data Augmentation

Sajad Norouzi, David J. Fleet외 1명|arXiv (Cornell University)|2020. 01. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 3

한 줄 요약

예시 VAE는 훈련 예시에 대한 파르젠 창 추정기 기반으로 잠재 공간에 비모수적 사전분포를 도입하여, 모수적 VAE와 예시 기반 생성을 결합한 생성 모델링을 가능하게 한다. 근사 최근접 이웃을 통한 유사한 잠재 코드 검색과 유사도 제거 훈련을 통해 데이터 증강을 향상시켜, MNIST와 패션-MNIST의 분류 오차를 각각 41%와 4.9% 감소시킨다.

ABSTRACT

We introduce Exemplar VAEs, a family of generative models that bridge the gap between parametric and non-parametric, exemplar based generative models. Exemplar VAE is a variant of VAE with a non-parametric prior in the latent space based on a Parzen window estimator. To sample from it, one first draws a random exemplar from a training set, then stochastically transforms that exemplar into a latent code and a new observation. We propose retrieval augmented training (RAT) as a way to speed up Exemplar VAE training by using approximate nearest neighbor search in the latent space to define a lower bound on log marginal likelihood. To enhance generalization, model parameters are learned using exemplar leave-one-out and subsampling. Experiments demonstrate the effectiveness of Exemplar VAEs on density estimation and representation learning. Importantly, generative data augmentation using Exemplar VAEs on permutation invariant MNIST and Fashion MNIST reduces classification error from 1.17% to 0.69% and from 8.56% to 8.16%.

연구 동기 및 목표

• 모수적 및 비모수적 생성 모델 간 격차를 메우기 위해 훈련 예시 기반으로 잠재 공간에 비모수적 사전분포를 도입하는 것.
• 실제 훈련 예시를 기반으로 샘플링을 수행하여 생성 모델링 및 데이터 증강을 향상시키는 것.
• 잠재 공간 내 근사 최근접 이웃 검색을 활용한 검색 기반 훈련(RAT)을 통해 예시 기반 모델의 훈련 속도를 가속화하는 것.
• 훈련 중 예시 제거 및 부분 샘플링을 통해 모델 일반화 능력을 향상시키는 것.
• 생성 기반 데이터 증강을 통해 밀도 추정, 표현 학습 및 분류 성능 향상을 입증하는 것.

제안 방법

• 모델은 훈련 예시에 대한 파르젠 창 추정기를 기반으로 한 잠재 공간 내 비모수적 사전분포를 사용한다.
• 샘플링은 훈련 세트에서 무작위로 예시를 선택하고, 이를 확률적으로 잠재 코드 및 새로운 관측치로 변환하는 방식이다.
• 검색 기반 훈련(RAT)은 잠재 공간 내 근사 최근접 이웃 검색을 통해 로그 주변 가능도의 하한을 계산하여 훈련 속도를 향상시킨다.
• 모델 파라미터는 일반화를 향상시키기 위해 예시 제거 및 부분 샘플링을 통해 최적화된다.
• 잠재 공간은 각 훈련 예시가 커널 스무딩을 통해 사전 밀도에 기여하도록 구성된다.
• 생성 과정은 예시의 확률적 변환과 잠재 공간 내 검색을 결합하여 다양하고 현실적인 샘플을 생성한다.

실험 결과

연구 질문

• RQ1 훈련 예시 기반 비모수적 사전분포를 갖는 VAE가 표준 VAE보다 더 높은 생성 품질과 일반화 성능을 달성할 수 있는가?
• RQ2 잠재 공간 내 근사 최근접 이웃 검색을 통해 예시 기반 생성을 어떻게 확장 가능하고 효율적으로 만들 수 있는가?
• RQ3 예시 기반 데이터 증강이 시각 기반 벤치마크에서 하류 분류 성능에 얼마나 기여하는가?
• RQ4 예시 제거 및 부분 샘플링 훈련 전략이 예시 기반 모델의 일반화에 기여하는가?
• RQ5 제안된 모델이 밀도 추정 및 표현 학습에서 모수적 VAE를 능가할 수 있는가?

주요 결과

• 예시 VAE는 벤치마크 데이터셋에서 밀도 추정 및 표현 학습 분야에서 최신 기술 수준의 성능을 달성한다.
• 예시 VAE를 활용한 생성 기반 데이터 증강은 순열 불변 MNIST의 분류 오차를 1.17%에서 0.69%로 감소시킨다.
• 패션-MNIST에서는 동일한 증강 전략을 통해 분류 오차를 8.56%에서 8.16%로 감소시킨다.
• 검색 기반 훈련(RAT) 방법은 로그 주변 가능도의 날카운 하한을 제공함으로써 훈련 속도를 크게 향상시킨다.
• 예시 제거 및 부분 샘플링 전략은 개별 예시에 대한 과적합을 줄여 모델 일반화 능력을 향상시킨다.
• 모델은 예시 기반 생성의 인덕티브 바이어스와 모수적 VAE의 유연성을 성공적으로 통합하여 고품질이고 다양한 샘플 생성을 가능하게 한다.