[논문 리뷰] Generated Loss and Augmented Training of MNIST VAE

Jason Chou|arXiv (Cornell University)|2019. 04. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 9인용 수 5

한 줄 요약

이 논문은 생성된 샘플에 대한 VAE 손실(이하 '생성 손실')을 생성 품질의 대체 지표로 사용하는 것과 반복적인 인코딩/디코딩을 통한 데이터 증강을 통해 MNIST VAE의 성능을 향상시키는 것을 조사한다. 컨볼루션 모델에서는 생성 손실이 실제 생성 품질을 잘 반영하지 못하지만, 평균 잠재 벡터에서 반복적인 추론을 수행하면 항상 더 전형적이고 교과서적인 숫자 이미지가 생성되며, 이는 VAE에 내재된 클러스터링 성질을 시사한다. 그러나 증강된 학습은 성능 향상에 실패한다.

ABSTRACT

The variational autoencoder (VAE) framework is a popular option for training unsupervised generative models, featuring ease of training and latent representation of data. The objective function of VAE does not guarantee to achieve the latter, however, and failure to do so leads to a frequent failure mode called posterior collapse. Even in successful cases, VAEs often result in low-precision reconstructions and generated samples. The introduction of the KL-divergence weight $β$ can help steer the model clear of posterior collapse, but its tuning is often a trial-and-error process with no guiding metrics. Here we test the idea of using the total VAE loss of generated samples (generated loss) as the proxy metric for generation quality, the related hypothesis that VAE reconstruction from the mean latent vector tends to be a more typical example of its class than the original, and the idea of exploiting this property by augmenting training data with generated variants (augmented training). The results are mixed, but repeated encoding and decoding indeed result in qualitatively and quantitatively more typical examples from both convolutional and fully-connected MNIST VAEs, suggesting that it may be an inherent property of the VAE framework.

연구 동기 및 목표

• 생성된 샘플에 대한 총 VAE 손실(생성 손실)이 생성 품질을 신뢰할 만한 대체 지표로 사용될 수 있는지 평가하기 위해.
• 평균 잠재 벡터에서 반복적인 인코딩 및 디코딩이 각 숫자 클래스의 더 전형적이고 대표적인 예시를 생성하는지 테스트하기 위해.
• 생성된 샘플을 사용한 학습 데이터 증강이 VAE의 생성 품질을 향상시키는지 조사하기 위해.
• 다양한 VAE 아키텍처와 하이퍼파라미터에서 생성 손실과 표준 지표(FID 등)의 행동을 비교하기 위해.

제안 방법

• 생성 품질 평가를 위해 생성된 샘플에 대한 총 VAE 손실(ELBO)을 '생성 손실'로 측정하여 모델 성능을 평가한다.
• 평균 잠재 벡터를 사용해 반복적인 인코딩 및 디코딩을 적용하여 점점 더 전형적인 숫자 재구성 이미지를 생성한다.
• 기계 학습된 분류기 기반의 조건부 p-값을 사용해 생성 및 재구성된 샘플이 그들의 클래스 분포에 비해 얼마나 전형적인지 정량적으로 평가한다.
• 생성된 샘플을 학습 세트에 추가하고 모델을 재학습하여 생성 품질 향상 여부를 평가한다.
• 다양한 $\beta$ 값으로 MNIST에서 컨볼루션형 및 완전 연결형 VAE 아키텍처를 학습하여 민감도와 일반화 능력을 평가한다.
• 다양한 $\beta$ 값에서 생성 손실, 학습/테스트 손실, FID 점수를 비교하여 시각적 품질과의 상관관계 평가.

실험 결과

연구 질문

• RQ1 생성 손실이 FID나 인간 인식으로 측정된 실제 생성 품질과 상관관계가 있는가?
• RQ2 평균 잠재 벡터에서 반복적인 인코딩 및 디코딩이 각 숫자 클래스의 더 전형적이고 대표적인 예시를 생성하는가?
• RQ3 생성된 샘플을 사용한 데이터 증강이 VAE의 생성 품질 향상에 기여하는가?
• RQ4 생성 손실의 민감도는 컨볼루션형과 완전 연결형 VAE 아키텍처 간에 어떻게 다를까?
• RQ5 전형성 향상 현상은 VAE의 변분 최적화 과정 때문이냐, 아키텍처의 인덕티브 바이어스 때문이냐?

주요 결과

• 생성 손실은 특히 컨볼루션형 VAE에서 실제 생성 품질을 신뢰할 수 없이 반영하며, 학습 손실에 뒤처지고 FID 점수와도 낮은 상관관계를 보인다.
• 컨볼루션형 및 완전 연결형 MNIST VAE 모두에서 평균 잠재 벡터에서 반복적인 인코딩 및 디코딩을 수행하면 항상 더 전형적이고 교과서적인 숫자 이미지가 생성된다.
• 조건부 p-값 분석 결과, 생성 및 재구성된 샘플 모두 클래스 분포의 모드 쪽으로 수렴하며, 학습 샘플이 생성 샘플보다 빠르게 수렴한다.
• 반복 재구성으로 인한 전형성 향상에도 불구하고, 생성된 샘플을 사용한 증강 학습은 VAE의 생성 품질 향상에 실패한다.
• 생성 손실의 $\beta$ 민감도는 완전 연결형 VAE에서 컨볼루션형 VAE보다 더 높으며, 이는 아키텍처의 인덕티브 바이어스가 손실 행동에 영향을 준다는 것을 시사한다.
• 반복 추론이 더 전형적인 샘플을 생성하는 경향은 VAE 프레임워크의 내재된 성질로 보이며, 가능성이 잠재 공간에서 재구성 손실 최소화 과정 때문일 수 있다.