[논문 리뷰] The Usual Suspects? Reassessing Blame for VAE Posterior Collapse

Bin Dai, Ziyu Wang외 1명|arXiv (Cornell University)|2019. 12. 23.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 28

한 줄 요약

이 논문은 기존의 VAE 후행 분포 붕괴의 주 원인으로 간주되던 KL 정규화가 핵심 요인임을 도전하며, 오히려 딥 오토에인코더의 손실 곡면 내에서의 열악한 국소 최솟값이 주요 원인임을 입증한다. 또한, 약간의 비선형성 편향이 있는 애핀 VAE 디코더의 경우에도 붕괴를 유도할 수 있음을 보이며, 더 깊은 모델은 특정 조건 하에서 모든 잠재적 정보를 기각하는 강력한 잘라내기 기능을 수행할 수 있음을 시사한다.

ABSTRACT

In narrow asymptotic settings Gaussian VAE models of continuous data have been shown to possess global optima aligned with ground-truth distributions. Even so, it is well known that poor solutions whereby the latent posterior collapses to an uninformative prior are sometimes obtained in practice. However, contrary to conventional wisdom that largely assigns blame for this phenomena on the undue influence of KL-divergence regularization, we will argue that posterior collapse is, at least in part, a direct consequence of bad local minima inherent to the loss surface of deep autoencoder networks. In particular, we prove that even small nonlinear perturbations of affine VAE decoder models can produce such minima, and in deeper models, analogous minima can force the VAE to behave like an aggressive truncation operator, provably discarding information along all latent dimensions in certain circumstances. Regardless, the underlying message here is not meant to undercut valuable existing explanations of posterior collapse, but rather, to refine the discussion and elucidate alternative risk factors that may have been previously underappreciated.

연구 동기 및 목표

• VAE 후행 분포 붕괴의 근본 원인 재검토를 통해, 기존에 KL 발산 정규화가 원인으로 지목된 이론에 도전한다.
• 딥 오토에인코더 아키텍처의 손실 표면 내에서 국소 최솟값이 후행 분포 붕괴에 본질적으로 기여하는지 조사한다.
• 비선형성이 디코더 아키텍처에 포함될 경우, 조건이 잘 갖춰진 모델에서도 병적인 최적화 행동이 유도되는지 분석한다.
• 더 깊은 모델에서 VAE가 모든 잠재 차원에 걸쳐 정보를 기각하는 잘라내기 연산자로 작용할 수 있음을 보여준다.
• 기존의 후행 분포 붕괴 설명을 보완하며, 최적화 곡면과 관련된 간과되기 쉬운 위험 요인을 규명한다.

제안 방법

• 작은 비선형성 편향이 가해진 애핀 VAE 디코더 모델이 국소 최솟값을 생성하여 후행 분포 붕괴를 유도할 수 있음을 증명한다.
• 재구성 기법을 통한 역전파를 활용해 VAE 목표 함수의 기울기 역학을 분석하며, 인코더 및 디코더 가중치에 대한 기울기 중심으로 집중한다.
• 인코더 파라미터(평균 및 분산)에 대한 기울기가 사라지는 조건을 유도한다. 이는 디코더가 비어 있지 않은 경우에도 발생할 수 있다.
• 디코더 가중치가 0일 경우, 재구성 손실이 특정 잠재 차원에 의존하지 않게 되어 해당 차원에 대한 기울기가 0이 된다는 것을 보여준다.
• 잠재 변수의 기대값을 활용해, 대칭성과 0 평균 정규 사전 분포로 인해 디코더 가중치에 대한 기울기가 사라질 수 있음을 입증한다.
• 인코더에서의 기울기 사라짐과 재구성 손실의 불변성 조합이 안정적이고 정보가 없는 후행 분포 붕괴를 유도함을 확립한다.

실험 결과

연구 질문

• RQ1 KL 정규화와 무관하게 VAE 손실 곡면 내 국소 최솟값이 후행 분포 붕괴를 유도할 수 있는가?
• RQ2 디코더 아키텍처의 비선형성은 어느 정도 병적인 최적화 행동을 유도하는가?
• RQ3 VAE 목표 함수가 인코더 파라미터를 업데이트하지 못하는 조건는 무엇이며, 이로 인해 정보가 없는 사후 분포가 발생하는가?
• RQ4 딥 VAE는 모든 잠재 차원에 걸쳐 정보를 기각하는 강력한 잘라내기 기능을 수행할 수 있는가?
• RQ5 인코더에서 기울기가 사라지는 것은 붕괴된 사후 분포의 지속성에 어떻게 기여하는가?

주요 결과

• 작은 비선형성 편향이 가해진 애핀 VAE 디코더 모델은 KL 항이 잘 조정되어 있더라도 국소 최솟값을 생성하여 후행 분포 붕괴를 유도할 수 있다.
• 논문은 인코더 파라미터(평균 및 분산)에 대한 기울기가 디코더가 정보가 없을 경우 사라질 수 있음을 증명하며, 이는 정보가 없는 사후 분포로 이어진다.
• 더 깊은 모델에서는 VAE 목표 함수가 모든 잠재 차원이 기각된 상태로 안정화되어 잘라내기 연산자로 작용할 수 있다.
• 디코더 가중치가 0일 경우 재구성 손실이 특정 잠재 차원에 의존하지 않게 되어, 모델이 해당 차원을 완전히 忽略하게 된다.
• 기울기가 사라지는 원인은 사전 분포의 0 평균 성질과 정규 분포의 대칭성으로 인해 발생하며, 이는 디코더가 비어 있지 않은 경우에도 발생할 수 있다.
• 분석 결과, 후행 분포 붕괴는 오직 KL 정규화 때문만이 아니라, 딥 오토에인코더의 최적화 곡면의 구조적 특성 때문임을 입증한다.