[논문 리뷰] Exemplar VAE: Linking Generative Models, Nearest Neighbor Retrieval, and Data Augmentation

Sajad Norouzi, David J. Fleet외 1명|arXiv (Cornell University)|2020. 04. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 61인용 수 9

한 줄 요약

예시 VAE는 잠재 코드에 대한 파르젠 창 우선사전을 갖춘 비모수적 변분 오토에코더를 도입하여, 무작위로 선택된 훈련 예시를 변환함으로써 생성을 가능하게 한다. 이는 밀도 추정과 표현 학습에서 최신 기술 수준의 성능을 달성하며, MNIST와 패션 MNIST의 테스트 오차를 각각 1.17%에서 0.69%, 8.56%에서 8.16%로 감소시킨다. 이는 생성적 데이터 증강을 통해 달성된다.

ABSTRACT

We introduce Exemplar VAEs, a family of generative models that bridge the gap between parametric and non-parametric, exemplar based generative models. Exemplar VAE is a variant of VAE with a non-parametric prior in the latent space based on a Parzen window estimator. To sample from it, one first draws a random exemplar from a training set, then stochastically transforms that exemplar into a latent code and a new observation. We propose retrieval augmented training (RAT) as a way to speed up Exemplar VAE training by using approximate nearest neighbor search in the latent space to define a lower bound on log marginal likelihood. To enhance generalization, model parameters are learned using exemplar leave-one-out and subsampling. Experiments demonstrate the effectiveness of Exemplar VAEs on density estimation and representation learning. Importantly, generative data augmentation using Exemplar VAEs on permutation invariant MNIST and Fashion MNIST reduces classification error from 1.17% to 0.69% and from 8.56% to 8.16%.

연구 동기 및 목표

• VAE와 예시 기반 학습을 조합하여 모수적 및 비모수적 생성 모델링 간 격차를 메우기 위해.
• 잠재 공간에서 표준 가우시안 우선사전을 비모수적 파르젠 창 우선사전으로 대체하여 표현 학습과 밀도 추정을 향상시키기 위해.
• 검색 보강 훈련(RAT)을 통해 대규모 데이터셋에서 예시 기반 모델의 스케일러블한 훈련을 가능하게 하기 위해.
• 예시 제거-한 개 남기기 및 샘플링 정규화를 통해 일반화를 향상시키기 위해.
• 예시 VAE가 지도 학습에서 생성적 데이터 증강에 효과적임을 입증하기 위해.

제안 방법

• 훈련 예시에 기반한 파르젠 창 추정기로 구성된 비모수적 우선사전을 사용하여 기존 VAE의 표준 가우시안 우선사전을 대체한다.
• 예시 VAE에서 샘플링을 위해 먼저 무작위로 훈련 예시를 선택한 후, 학습된 디코더를 통해 잠재 코드와 새로운 관측치로 변환하는 확률적 변환을 수행한다.
• 검색 보강 훈련(RAT)을 제안하며, 이는 잠재 공간에서의 근접한 이웃 검색을 사용하여 로그 주변확률의 하한을 계산함으로써 훈련 속도를 가속화한다.
• 과적합을 방지하고 일반화를 향상시키기 위해 예시 제거-한 개 남기기 및 샘플링을 정규화 방법으로 활용한다.
• 암시적 변분 추론을 활용하여 재구성 오차, 잠재 공간, 거리 측도를 동시에 최적화하기 위해 로그우도의 하한을 최대화한다.
• 재구성 오차와 다양한 예시에서 유의미하고 타당한 샘플을 생성하도록 유도하는 대조 항목을 포함한 하이브리드 목적함수를 사용한다.

실험 결과

연구 질문

• RQ1 VAE의 잠재 공간에 비모수적 우선사전을 도입할 경우, 가우시안 또는 VampPrior와 같은 모수적 우선사전보다 표현 품질과 밀도 추정 성능이 향상되는가?
• RQ2 검색 보강 훈련(RAT)은 예시 기반 VAE의 훈련 속도를 크게 향상시키면서 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 예시 VAE를 사용한 생성적 데이터 증강이, 특히 순열 불변 데이터셋에서 지도 분류 과제의 일반화 성능을 향상시키는가?
• RQ4 자동에코더와 우선사전의 공동 최적화를 통해 사전에 정의된 거리 측도에 의존하지 않고도 의미 있는 잠재 공간과 거리 측도를 학습할 수 있는가?
• RQ5 기본 데이터셋에서 테스트 오차와 로그우도 측면에서 예시 VAE의 성능이 표준 VAE 및 기타 최신 기술 수준의 모델과 비교해 어떻게 되는가?

주요 결과

• 예시 VAE는 MNIST, 패션 MNIST, Omniglot, CelebA에서 표준 가우시안 우선사전과 VampPrior를 사용한 표준 VAE보다 밀도 추정에서 뛰어난 성능을 보였다.
• 순열 불변 MNIST에서 예시 VAE는 테스트 오차 0.69%를 기록하여 기준 오차 1.17%를 41.0% 감소시켰으며, 데이터 증강을 통한 강력한 일반화 능력을 입증했다.
• 패션 MNIST에서는 예시 VAE 기반 데이터 증강으로 테스트 오차가 8.56%에서 8.16%로 감소하여 상대적 개선률 4.7%를 기록했다.
• 검색 보강 훈련(RAT)은 근사 근접 이웃 검색을 사용하여 로그우도의 하한을 계산함으로써 대규모 데이터셋에서의 효율적 훈련을 가능하게 했다.
• 예시 제거-한 개 남기기 및 샘플링 정규화는 과적합을 크게 감소시키고 일반화 성능을 향상시켰으며, 특히 데이터가 적은 환경에서 두드러졌다.
• 예시 VAE를 사용한 생성적 데이터 증강은 실재 데이터만으로 훈련하는 것보다 분류기 성능을 더 높였으며, 훈련에 오직 합성 데이터만 사용하더라도 여전히 뛰어난 성능을 기록했다.