[논문 리뷰] Constraining Variational Inference with Geometric Jensen-Shannon Divergence

J. Deasy, Nikola Simidjievski외 1명|arXiv (Cornell University)|2020. 06. 18.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

이 논문은 변동형 오토인코더(VAEs)의 정규화를 위한 새로운 방법을 제안하며, 기울기 기하 Jensen-Shannon 발산(JS^G_α)을 사용하여 정방향 및 역방향 KL 발산 간의 직관적인 보간을 가능하게 한다. 중간 분포를 재매개변수화함으로써, 단일 하이퍼파rameter α만을 사용하여 닫힌 형태의 해석 가능한 손실을 제공하며, 이는 다양한 벤치마크 데이터셋에서 재구성 및 생성 성능을 향상시킨다.

ABSTRACT

We examine the problem of controlling divergences for latent space regularisation in variational autoencoders. Specifically, when aiming to reconstruct example $x\\in\\mathbb{R}^{m}$ via latent space $z\\in\\mathbb{R}^{n}$ ($n\\leq m$), while balancing this against the need for generalisable latent representations. We present a regularisation mechanism based on the skew-geometric Jensen-Shannon divergence $\\left(\ extrm{JS}^{\ extrm{G}_{\\alpha}}\ ight)$. We find a variation in $\ extrm{JS}^{\ extrm{G}_{\\alpha}}$, motivated by limiting cases, which leads to an intuitive interpolation between forward and reverse KL in the space of both distributions and divergences. We motivate its potential benefits for VAEs through low-dimensional examples, before presenting quantitative and qualitative results. Our experiments demonstrate that skewing our variant of $\ extrm{JS}^{\ extrm{G}_{\\alpha}}$, in the context of $\ extrm{JS}^{\ extrm{G}_{\\alpha}}$-VAEs, leads to better reconstruction and generation when compared to several baseline VAEs. Our approach is entirely unsupervised and utilises only one hyperparameter which can be easily interpreted in latent space.

연구 동기 및 목표

• VAE에서 정규화 강도에 대한 직관적 제어의 부재, 특히 KL 발산 항의 투명하지 않은 스케일링 문제를 해결하기 위해.
• 다변량 정규분포 설정에서 정방향 및 역방향 KL 발산 간의 해석 가능한 보간이 부재한 문제를 해결하기 위해.
• 분포 및 발산 공간에서 모두 해석 가능성을 유지하면서 VAE 성능을 향상시키는 정규화 메커니즘을 개발하기 위해.
• 기울인 기하 JS 발산이 표준 VAE 기준선보다 더 나은 재구성 및 생성 성능을 제공함을 보여주기 위해.

제안 방법

• 중간 분포를 재매개변수화하여 정방향 및 역방향 KL 발산 간의 부드러운 보간을 가능하게 하는 수정된 기울기 기하 Jensen-Shannon 발산(JS^G_α)을 제안한다.
• 다변량 정규분포의 평균 및 공분산 매개변수를 활용해 발산을 표현함으로써 JS^G_α-VAE에 대한 닫힌 형태의 손실 함수를 유도한다.
• 특히 꼬리가 얇은 사후 분포 설정에서 성능을 향상시키기 위해 이중 형태(JS^G_α_*)를 도입한다.
• 영역 회피(정방향 KL)와 영역 강제화(역방향 KL) 행동 간의 균형을 제어하는 단일 해석 가능한 하이퍼파rameter α를 활용한다.
• 추가 하이퍼파rameter 조정이나 후행 분석 없이도 비지도 방식으로 적용한다.
• 저차원 시각화와 표준 이미지 벤치마크에서의 정량적 평가를 통해 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 다변량 정규분포 VAE에서 정방향 및 역방향 KL 발산 간의 해석 가능한 보간이 가능할 수 있는가?
• RQ2 기울인 기하 JS 발산이 표준 KL 또는 JS 발산보다 더 직관적이고 효과적인 정규화 메커니즘을 제공하는가?
• RQ3 JS^G_α-VAE가 다양한 데이터셋에서 표준 VAE 기준선보다 더 나은 재구성 및 생성 성능을 달성할 수 있는가?
• RQ4 기울기 파rameter α의 선택이 잠재 표현에서 모드 커버리지와 날카움 사이의 트레이드오프에 어떻게 영향을 주는가?
• RQ5 이중 형태(JS^G_α_*)가 VAE 학습에서 표준 JS^G_α보다 더 효과적인가?

주요 결과

• 이중 형태(JS^G_α_*)는 여러 벤치마크 데이터셋에서 테스트 세트 재구성 손실 측면에서 정방향 및 역방향 KL 발산을 일관되게 능가한다.
• JS^G_α-VAE는 표준 VAE, β-VAE 및 InfoGAN 기준선 대비 열등한 정성적 및 정량적 재구성 성능을 달성한다.
• 단일 하이퍼파rameter α를 통해 정방향 및 역방향 KL 행동 간의 부드럽고 해석 가능한 보간을 가능하게 하며, 이는 모드 커버리지와 날카움 간의 균형을 직접 제어한다.
• 기울인 기하 JS 발산은 특히 꼬리가 얇은 사후 분포를 처리할 때 표준 JS 발산보다 VAE에 더 효과적이다.
• 제안된 정규화 메커니즘은 완전히 비지도이며, α 이외의 추가 하이퍼파rameter 조정이 필요 없으며, 잠재 공간에서 명확한 기하학적 해석을 가진다.
• 실험 결과는 최적의 성능가 특정 α 값 범위 내에서 달성됨을 보여주며, 이는 VAE에 대한 표준화된 정규화 전략을 제안한다.