[논문 리뷰] Tackling Over-pruning in Variational Autoencoders

Serena Yeung, Anitha Kannan외 2명|arXiv (Cornell University)|2017. 06. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 43

한 줄 요약

이 논문은 변분 오토에인코더(VAE)에서 과도한 프루닝을 방지하기 위해 상호 배제적인 부분공간(에피토마)으로 잠재 변수를 그룹화하는 모델 기반 접근법인 에피토믹 변분 오토에인코더(eVAE)를 제안한다. 각 그룹이 데이터를 설명하기 위해 경쟁하도록 유도함으로써, eVAE는 모델 용량을 더 효과적으로 활용하여 MNIST 및 TFD 데이터셋에서 표준 VAE보다 향상된 생성 성능과 더 나은 일반화 성능을 달성한다.

ABSTRACT

Variational autoencoders (VAE) are directed generative models that learn factorial latent variables. As noted by Burda et al. (2015), these models exhibit the problem of factor over-pruning where a significant number of stochastic factors fail to learn anything and become inactive. This can limit their modeling power and their ability to learn diverse and meaningful latent representations. In this paper, we evaluate several methods to address this problem and propose a more effective model-based approach called the epitomic variational autoencoder (eVAE). The so-called epitomes of this model are groups of mutually exclusive latent factors that compete to explain the data. This approach helps prevent inactive units since each group is pressured to explain the data. We compare the approaches with qualitative and quantitative results on MNIST and TFD datasets. Our results show that eVAE makes efficient use of model capacity and generalizes better than VAE.

연구 동기 및 목표

• 학습 도중 많은 확률적 잠재 변수가 비활성화되는 변분 오토에인코더(VAE)의 과도한 프루닝 문제를 해결하기 위해.
• KL 안내나 최소 KL 제약과 같은 히우리스틱 학습 기법이 VAE의 원칙적인 정규화를 방해하는 한계를 극복하기 위해.
• 잠재 공간을 전문화된 공유 부분공간으로 구조화함으로써 모든 잠재 변수가 자연스럽게 기여하도록 하는 모델 기반 접근법을 개발하기 위해.
• 더 큰 데이터 변동성을 포착하고 생성 성능를 향상시키기 위해 모델 용량을 더 효과적으로 활용하기 위해.
• eVAE가 표준 VAE보다 더 나은 일반화 성능을 보이며, 적대적 오토에인코더와 같은 최첨단 모델과 경쟁 가능한 성능을 달성함을 입증하기 위해.

제안 방법

• 잠재 공간의 상호 배제적인 부분공간(에피토마) 중 하나를 선택하는 분류 잠재 변수를 인코더-디코더 아키텍처에 도입한다.
• 각 에피토마는 연속적인 확률적 잠재 변수 부분집합을 활성화하여, 각 데이터 포인트에 대해 오직 한 그룹만 활성화되도록 보장한다.
• 모델은 인코더와 디코더를 동시에 최적화하여 변분 하한을 최대화하며, 분류 변수가 부분공간 간의 경쟁을 가능하게 한다.
• 에피토마는 데이터 포인트 간에 공유되어, 다수의 전문화된 표현을 학습하면서도 파rameter 효율성을 유지한다.
• 이 아키텍처는 구조적 희소성과 함께, 특정 잠재 인자가 지배하는 것을 방지하여 모든 잠재 요소가 활성화되도록 보장한다.
• 표준 VAE 목표를 사용하여 백프로파게이션을 통해 엔드 투 엔드로 학습되며, 표준 VAE보다 추가 하이퍼파ram터 튜닝이 필요하지 않다.

실험 결과

연구 질문

• RQ1 히우리스틱 학습 기법에 의존하지 않고도 모델 기반 접근법이 VAE의 과도한 프루닝을 효과적으로 방지할 수 있는가?
• RQ2 경쟁하는 공유 부분공간(에피토마)으로 잠재 공간을 구조화하면 모델 용량의 활용도가 향상되는가?
• RQ3 eVAE는 표준 VAE와 다른 최첨단 모델보다 더 나은 생성 성능와 일반화 능력을 달성할 수 있는가?
• RQ4 KL 안내나 최소 KL 제약과 같은 기존 방법과 비교해 에피토마 사용이 표현 품질 측면에서 어떻게 다른가?
• RQ5 에피토믹 구조는 벤치마크 데이터셋에서 데이터 복원 및 샘플 다양성 향상에 어느 정도 기여하는가?

주요 결과

• eVAE는 에피토마 간의 경쟁을 통해 모든 잠재 변수가 활성화되도록 보장함으로써 과도한 프루닝을 크게 감소시킨다.
• MNIST에서 eVAE는 337 ± 2 nats의 파르젠 로그 밀도를 기록하여 표준 VAE(325 ± 2 nats)를 초월하고 최고의 적대적 오토에인코더 수준에 도달한다.
• TFD에서 eVAE는 2371 ± 20 nats를 기록하여 표준 VAE(2180 ± 20 nats)와 mVAE(2358 ± 20 nats)를 모두 능가하며, 뛰어난 일반화 능력을 입증한다.
• eVAE의 정성적 샘플은 표준 VAE보다 더 높은 다양성과 더 나은 이미지 품질을 보이며, 개선된 분리 표현을 나타낸다.
• eVAE는 표준 VAE보다 더 나은 일반화 능력을 보이며, 적대적 오토에인코더와 같은 최첨단 모델과 경쟁 가능한 성능을 달성한다.
• MNIST에서 eVAE는 훈련 안정성에 손상이 없이 48개의 잠재 차원을 효과적으로 활용하며(표준 VAE는 8개), 전체 용량을 잘 활용하고 있음을 입증한다.