[논문 리뷰] Tighter Variational Bounds are Not Necessarily Better

Tom Rainforth, Adam R. Kosiorek외 5명|arXiv (Cornell University)|2018. 02. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 31

한 줄 요약

이 논문은 변분 자동차오디터(VAE)에서 더 낮은 변분 경계가 항상 학습을 향상시킨다는 가정을 도전하며, 중요도 샘플 수(K)를 늘리는 중요도 가중치 자동차오디터(IWAE)에서 추론 네트워크의 기울기 신호 대 잡음 비율(SNR)이 악화될 수 있음을 보여준다. 이를 해결하기 위해 저자는 PIWAE, MIWAE, CIWAE 세 가지 새로운 알고리즘을 제안한다. 이들은 중요도 샘플링을 새로운 방식으로 활용하여 추론 네트워크 학습을 향상시키며, 생성 모델 성능을 유지하거나 향상시킨다.

ABSTRACT

We provide theoretical and empirical evidence that using tighter evidence lower bounds (ELBOs) can be detrimental to the process of learning an inference network by reducing the signal-to-noise ratio of the gradient estimator. Our results call into question common implicit assumptions that tighter ELBOs are better variational objectives for simultaneous model learning and inference amortization schemes. Based on our insights, we introduce three new algorithms: the partially importance weighted auto-encoder (PIWAE), the multiply importance weighted auto-encoder (MIWAE), and the combination importance weighted auto-encoder (CIWAE), each of which includes the standard importance weighted auto-encoder (IWAE) as a special case. We show that each can deliver improvements over IWAE, even when performance is measured by the IWAE target itself. Furthermore, our results suggest that PIWAE may be able to deliver simultaneous improvements in the training of both the inference and generative networks.

연구 동기 및 목표

• 암시적 변분 추론에서 더 낮은 증거 하한 경계(ELBO)가 항상 학습을 향상시킬지 조사한다.
• IWAE에서 중요도 샘플 수(K)를 늘릴수록 추론 네트워크 기울기의 신호 대 잡음 비율(SNR)이 악화되는 메커니즘을 규명한다.
• 생성 모델 성능을 희생시키지 않고 추론 네트워크 학습을 향상시키는 새로운 변분 추론 알고리즘을 개발한다.
• 향상된 추론 네트워크 학습이 표준 IWAE 목적함수로 측정된 후행 분포 근사 품질을 향상시킬 수 있음을 보여준다.

제안 방법

• 부분 중요도 가중치 자동차오디터(PIWAE)를 제안하여, 일부 중요도 가중치를 사용해 추론 네트워크 기울기의 SNR를 향상시킨다.
• 다중 중요도 가중치 자동차오디터(MIWAE)를 도입하여, 공유된 가중치를 사용해 독립적인 중요도 샘플링을 여러 번 수행함으로써 기울기 품질을 향상시킨다.
• 조합 중요도 가중치 자동차오디터(CIWAE)를 개발하여, 다양한 중요도 샘플링 전략을 조합함으로써 생성 모델과 추론 네트워크 학습의 균형을 맞춘다.
• 모든 방법에 동일한 중요도 가중치 집합을 사용하지만, 기울기 분산과 신호 강도를 제어하기 위해 다른 가중치 부여 방식을 적용한다.
• 모든 알고리즘은 IWAE를 특수 케이스로 포함하여 후행 호환성과 직접 비교 가능성을 확보한다.
• 합성 가우시안 모델과 실제 데이터셋을 모두 사용해 성능을 평가하며, IWAE 목적함수, KL 발산, 로그우도를 측정 기준으로 삼는다.

실험 결과

연구 질문

• RQ1 IWAE에서 중요도 샘플 수(K)를 늘일수록 추론 네트워크 학습이 항상 향상되는가?
• RQ2 IWAE에서 K를 늘리면 기울기 추정의 신호 대 잡음 비율(SNR)이 떨어지지만, 분산은 감소하는 이유는 무엇인가?
• RQ3 생성 모델의 로그우도에 대한 경계를 유지하면서도 추론 네트워크 기울기의 SNR을 향상시키는 대안적 변분 목표함수를 설계할 수 있는가?
• RQ4 제안된 알고리즘인 PIWAE, MIWAE, CIWAE는 IWAE 목적함수로 측정했을 때도 더 나은 후행 분포 근사 품질을 달성하는가?
• RQ5 ELBO의 날것과 추론 네트워크의 품질 사이에 트레이드오프가 존재하는가? 만약 그렇다면 이를 최적화할 수 있는가?

주요 결과

• IWAE에서 K를 늘일수록 추론 네트워크 기울기 추정의 SNR가 감소한다. 이는 분산 감소와는 반대로, 진짜 기울기 크기가 더 빠르게 감소하기 때문이다.
• 추론 네트워크 기울기의 신호 대 잡음 비율(SNR)은 K가 증가할수록 악화되어, 더 낮은 경계를 제공함에도 불구하고 최적화 성능이 떨어진다.
• PIWAE는 낮은 KL 발산으로 측정했을 때 IWAE보다 더 나은 후행 분포 근사 품질을 달성하며, IWAE 목적함수 수준을 유지하거나 향상시킨다.
• MIWAE와 CIWAE는 IWAE보다 더 낮은 KL 발산을 달성하며, 동시에 IWAE 목적함수 성능을 유지함으로써 더 나은 추론 네트워크 학습을 보여준다.
• 테스트용 가우시안 문제에서 K=1, M=1000을 설정했을 때 추론 네트워크와 생성 네트워크 파라미터의 수렴이 가장 우수했으며, 이는 더 높은 K가 항상 더 나은 결과를 낳는다는 가정을 뒤집는다.
• PIWAE, MIWAE, CIWAE 모두 IWAE 목적함수 자체에서 IWAE를 능가하며, 더 낮은 경계가 성능 향상에 필수적이지 않음을 입증한다.