[논문 리뷰] Reinterpreting Importance-Weighted Autoencoders

Chris Cremer, Quaid Morris외 1명|arXiv (Cornell University)|2017. 04. 10.

Adversarial Robustness in Machine Learning인용 수 45

한 줄 요약

이 논문은 중요도 가중치를 가진 오토인코더(IWAE)를 더 날것한 증거 하한(lower bound)을 최대화하는 것으로 보는 것이 아니라, $\tilde{q}_{\text{IW}}$로 표현되는 더 복잡하고 암묵적으로 정의된 사후 분포를 사용하여 표준 VAE 목표를 최적화하는 것으로 재해석한다. 주요 기여는 IWAE 절차가 $k \to \infty$일 때 진정한 사후 분포로 수렴하는 비모수적이고 중요도 가중치가 부여된 사후 분포를 암묵적으로 학습한다는 것을 보여주는 것으로, 기존의 $q(z|x)$보다 진정한 사후 분포에 더 가까운 KL 발산을 보이는 $q_{\text{EW}}$를 도입한다.

ABSTRACT

The standard interpretation of importance-weighted autoencoders is that they maximize a tighter lower bound on the marginal likelihood than the standard evidence lower bound. We give an alternate interpretation of this procedure: that it optimizes the standard variational lower bound, but using a more complex distribution. We formally derive this result, present a tighter lower bound, and visualize the implicit importance-weighted distribution.

연구 동기 및 목표

• 중요도 가중치를 가진 오토인코더(IWAE) 목표를 더 날것한 ELBO를 최대화하는 것 외의 방식으로 재해석하기 위해, 그 뒤에 숨겨진 암묵적 사후 분포를 분석한다.
• 다중 샘플 중요도 재가중치를 통한 분포의 형태를 유도하여, 암묵적인 중요도 가중치가 부여된 사후 분포 $\tilde{q}_{\text{IW}}$를 수학적으로 도출한다.
• 기본 $q(z|x)$보다 더 정확한 사후 분포 근사로, 정규화된 형태의 $q_{\text{EW}}$를 도입한다.
• KL 발산 측면에서 $q_{\text{EW}}$가 $q(z|x)$보다 진정한 사후 분포에 더 가까운 것을 증명한다.
• 핵밀도 추정의 오염을 유발하지 않는 방식으로 $\tilde{q}_{\text{IW}}$와 $q_{\text{EW}}$의 시각화 및 샘플링 알고리즘을 제공한다.

제안 방법

• 중요도 재가중치를 사용하여 $q(z|x)$에서 유도된 $k$개의 중요도 샘플 $z_{2:k}$에 대해, 비정규화된 암묵적 사후 분포 $\tilde{q}_{\text{IW}}(z|x,z_{2:k})$를 유도한다.
• 특정 $z_{2:k}$ 샘플에 대해 $\tilde{q}_{\text{IW}}$를 사용할 경우, IWAE ELBO가 VAE ELBO와 동일한 형태로 표현됨을 보인다.
• 특정 $z_{2:k}$에 대해 $\tilde{q}_{\text{IW}}$의 기댓값을 취하여 정규화된 비모수적 사후 분포 근사인 $q_{\text{EW}}(z|x)$를 정의한다.
• 샘플링-중요도-재표본 추출(SIR)과 동일한 방식으로 작동하는 알고리즘 1을 제안하여 $q_{\text{EW}}(z|x)$에서 샘플링한다.
• 핵밀도 스무딩 없이, $z_{2:k}$에 대한 몬테카를로 평균을 사용하여 $q_{\text{EW}}(z|x)$의 시각화를 위한 알고리즘 2를 제안한다.
• 제이슨의 부등식과 KL 발산 분해를 사용하여, $q_{\text{EW}}$가 $q(z|x)$보다 진정한 사후 분포에 더 가까운 것을 증명한다.

실험 결과

연구 질문

• RQ1 IWAE 목표는 더 복잡하고 암묵적인 사후 분포를 사용하여 표준 VAE ELBO를 최적화하는 것으로 재해석될 수 있는가?
• RQ2 IWAE에서 중요도 재가중치에 의해 유도되는 암묵적 사후 분포 $\tilde{q}_{\text{IW}}$의 형태와 행동 양상은 어떠한가?
• RQ3 기대 중요도 가중치 사후 분포 $q_{\text{EW}}$는 진정한 사후 분포와 KL 발산 측면에서 어떻게 비교되는가?
• RQ4 $q_{\text{EW}}$는 핵밀도 추정의 오염을 유발하지 않도록 효율적으로 샘플링하고 시각화할 수 있는가?
• RQ5 $k \to \infty$일 때 $\tilde{q}_{\text{IW}}$의 점점 가까운 행동 양상은 어떠한가?

주요 결과

• 특정 $z_{2:k}$ 샘플에 대해 $\tilde{q}_{\text{IW}}(z|x,z_{2:k})$를 사용할 경우, IWAE ELBO는 VAE ELBO와 수학적으로 동일하다.
• 기대 중요도 가중치 사후 분포 $q_{\text{EW}}(z|x)$는 정규화된 분포이며, $k \to \infty$일 때 진정한 사후 분포 $p(z|x)$로 수렴한다.
• 진정한 사후 분포와의 KL 발산에서 $q_{\text{EW}}$는 $q(z|x)$보다 엄격히 더 작다. 즉, $KL(q_{\text{EW}}||p) \leq KL(q||p)$이다.
• 암묵적 사후 분포 $\tilde{q}_{\text{IW}}$는 특정 $z_{2:k}$ 배치에 따라 달라지며, 비정규화된 형태이지만, 그 기댓값을 취하면 정규화된 $q_{\text{EW}}$가 된다.
• 알고리즘 2는 핵밀도 스무딩 없이 여러 $z_{2:k}$ 배치에 대한 몬테카를로 평균을 취함으로써 $q_{\text{EW}}$의 정확하고 오염 없는 시각화를 가능하게 한다.
• 점점 $k$가 증가함에 따라, $q_{\text{EW}}$는 진정한 사후 분포에 점점 더 가까운 근사가 되며, 2차원 및 1차원 시각화를 통해 이를 확인할 수 있다.