[논문 리뷰] Fixing a Broken ELBO

Alexander A. Alemi, Ben Poole외 4명|arXiv (Cornell University)|2017. 11. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 44

한 줄 요약

이 논문은 변분 오토인코더(VAE)에서 사용하는 증거 하한(ELBO)의 근본적인 결함을 규명한다: ELBO를 최대화한다고 해서 의미 있는 잠재 표현을 보장하지는 않으며, 강력한 디코더는 잠재 코드를 무시할 수 있다. 저자들은 입력과 잠재 변수 간 상호정보량에 대한 계산 가능한 경계를 사용하는 비용-왜곡 프레임워크를 제안하여 압축과 재구성 간의 균형을 제어할 수 있게 하고, 강력한 디코더를 갖춘 VAE에서 잠재 코드 忽시 현상을 방지하기 위해 비용-왜곡 곡선 상 특정 지점을 목표로 삼는 것이 효과적임을 보여준다.

ABSTRACT

Recent work in unsupervised representation learning has focused on learning deep directed latent-variable models. Fitting these models by maximizing the marginal likelihood or evidence is typically intractable, thus a common approximation is to maximize the evidence lower bound (ELBO) instead. However, maximum likelihood training (whether exact or approximate) does not necessarily result in a good latent representation, as we demonstrate both theoretically and empirically. In particular, we derive variational lower and upper bounds on the mutual information between the input and the latent variable, and use these bounds to derive a rate-distortion curve that characterizes the tradeoff between compression and reconstruction accuracy. Using this framework, we demonstrate that there is a family of models with identical ELBO, but different quantitative and qualitative characteristics. Our framework also suggests a simple new method to ensure that latent variable models with powerful stochastic decoders do not ignore their latent code.

연구 동기 및 목표

• ELBO를 최대화한다고 해서 VAE에서 유용하거나 분리된 잠재 표현이 보장되지 않는 근본적 문제를 해결하기 위해.
• 동일한 ELBO 값을 갖는 모델들이 입력과 잠재 변수 간 상호정보량의 차이로 인해 정량적·정성적 성질에서 극명한 차이를 보일 수 있음을 보여주기 위해.
• 잠재 정보량에 대한 변분 경계를 기반으로 한 계산 가능한 정보이론적 프레임워크를 개발하여 표현 학습을 이끌기 위해.
• 비용-왜곡 곡선 상 특정 지점을 목표로 삼는 것이 강력한 순차적 디코더를 갖춘 VAE를 훈련시켜 잠재 코드를 효과적으로 사용하도록 할 수 있음을 보여주기 위해.
• 기본 구조적 편향 없이 진짜 상호정보량 값과 제안된 프레임워크만을 사용하여 합성 데이터셋의 진짜 생성 과정을 복원하기 위해.

제안 방법

• 실제로 계산이 불가능한 상호정보량 $ I(X;Z) $ 에 대해 계산 가능한 변분 하한 및 상한을 유도하기 위해.
• 압축(비율)과 재구성 정확도(왜곡) 간의 상호관계를 특성화하는 비용-왜곡(RD) 곡선 프레임워크를 제안하며, 이는 상호정보량으로 매개변수화된다.
• RD 프레임워크를 활용해 VAE 훈련을 제약 조건이 있는 최적화 문제로 재정의하여, ELBO를 암묵적으로 최적화하는 대신 상호정보량을 명시적으로 목표로 삼는다.
• 모델이 원하는 수준의 상호정보량을 달성하도록 유도하는 수정된 훈련 목표를 도입하여, 강력한 디코더가 잠재 코드를 무시하지 않도록 한다.
• 다양한 $\beta$ 값에서 $\beta$-VAE 목표를 사용하여 간단하고 복잡한 인코더, 디코더, 사전 분포를 갖춘 VAE를 훈련하고 RD 곡선을 탐색한다.
• 진짜 데이터 분포 $ \hat{p}(x) $ 의 확률적 근사치를 사용하고, 진짜 데이터 밀도에 접근할 필요 없이 변분 추론을 활용해 상호정보량 경계를 추정한다.

실험 결과

연구 질문

• RQ1 왜 높은 주변 가능도를 가진 상태에서도 ELBO를 최대화한다고 해서 의미 있는 잠재 표현을 얻을 수 없는가?
• RQ2 정보이론적 원리를 사용해 잠재변수 모델에서 압축(비율)과 재구성 정밀도(왜곡) 간의 상호관계를 정량화할 수 있는가?
• RQ3 고도로 강력한 확률적 디코더를 갖춘 VAE에서, 높은 ELBO 값을 달성함에도 불구하고 잠재 코드를 무시하는 현상을 방지할 수 있는가?
• RQ4 진짜 상호정보량 값과 제안된 RD 프레임워크만을 사용해 합성 데이터셋의 진짜 생성 과정을 복원할 수 있는가?
• RQ5 동일한 ELBO를 갖는 VAE 모델들 간에 상호정보량과 표현 품질 측면에서 정성적·정량적 차이가 존재하는가?

주요 결과

• 동일한 ELBO 값을 갖는 모델들 간에도 상호정보량 $ I(X;Z) $ 의 차이로 인해 극명한 행동 차이가 발생할 수 있다: 일부 모델은 잠재 코드를 효과적으로 사용하는 반면, 다른 모델은 완전히 무시한다.
• 제안된 비용-왜곡 프레임워크를 통해 강력한 순차적 디코더(PixelCNN 스타일 등)를 갖춘 VAE를 훈련시킬 때, RD 곡선 상 특정 지점을 목표로 삼음으로써 잠재 코드 忽시 현상을 방지할 수 있다.
• 진짜 생성 과정이 알려진 합성 데이터셋에서, 진짜 상호정보량 값과 제안된 프레임워크만을 사용해 재파arameterization까지 고려한 진짜 생성 모델을 성공적으로 복원하였다.
• KL 안내나 $\beta$-VAE와 같은 이전 접근법보다 원칙적이고 정보이론적인 접근을 제공함으로써 표현 학습을 정규화하는 데 있어 프레임워크가 일반화되고 향상됨을 보였다.
• Binary MNIST와 Omniglot에서의 실험 결과, RD 곡선을 통해 상호정보량을 제어함으로써 표준 ELBO 최대화보다 더 우수한 분리성과 더 의미 있는 잠재 표현을 달성함을 확인하였다.
• 상호정보량에 대한 변분 경계를 사용함으로써, 진짜 상호정보량 계산이 불가능하더라도 효과적이고 계산적으로 구현 가능한 최적화가 가능함을 입증하였다.