[논문 리뷰] The Information Autoencoding Family: A Lagrangian Perspective on Latent Variable Generative Models

Shengjia Zhao, Jiaming Song외 1명|arXiv (Cornell University)|2018. 06. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 37

한 줄 요약

이 논문은 서로 다른 잠재변수 생성 모델들—예: VAE, GAN, InfoGAN—이 하나의 제약 최적화 문제의 이중 함수임을 보여줌으로써 통합된 라그랑주 프레임워크를 제안한다. 모델 파라미터와 라그랑주 승수를 동시에 최적화함으로써 상호정보량과 제약 충족 간 파레토 최적의 트레이드오프를 달성하며, 기존의 InfoVAE와 같은 방법들보다 상호정보량 및 일致성 메트릭에서 뛰어난 성능을 보인다.

ABSTRACT

A large number of objectives have been proposed to train latent variable generative models. We show that many of them are Lagrangian dual functions of the same primal optimization problem. The primal problem optimizes the mutual information between latent and visible variables, subject to the constraints of accurately modeling the data distribution and performing correct amortized inference. By choosing to maximize or minimize mutual information, and choosing different Lagrange multipliers, we obtain different objectives including InfoGAN, ALI/BiGAN, ALICE, CycleGAN, beta-VAE, adversarial autoencoders, AVB, AS-VAE and InfoVAE. Based on this observation, we provide an exhaustive characterization of the statistical and computational trade-offs made by all the training objectives in this class of Lagrangian duals. Next, we propose a dual optimization method where we optimize model parameters as well as the Lagrange multipliers. This method achieves Pareto optimal solutions in terms of optimizing information and satisfying the constraints.

연구 동기 및 목표

• 다양한 잠재변수 생성 모델들을 하나의 최적화 프레임워크로 통합하는 것.
• VAE, GAN, InfoGAN 등의 기존 학습 목표에서 유래된 통계적 및 계산적 트레이드오프를 규명하는 것.
• 기존 방법에서 고정된 라그랑주 승수로 인해 강력한 이중성과 최적 성능을 달성할 수 없는 한계를 해결하는 것.
• 모델 파라미터와 라그랑주 승수를 동시에 학습하는 이중 최적화 방법을 개발하여 제약 충족 및 정보 최적화를 향상시키는 것.
• 실험적으로 제안된 방법이 상호정보량 및 일치성 메트릭에서 기존 방법들을 파레토 지배함을 입증하는 것.

제안 방법

• 잠재변수와 관측변수 간의 상호정보량을 최대화하거나 최소화하는 제약 최적화 문제를 정의하며, 데이터 분포와 암시적 추론에 대한 일致성 제약 조건을 포함한다.
• 이 제약 최적화 문제의 라그랑주 이중 함수를 유도하며, 기존 목표(예: InfoVAE, ALI, CycleGAN)가 라그랑주 승수의 다양한 선택에 따라 특수한 경우임을 보여준다.
• 모델 파라미터와 라그랑주 승수를 동시에 최적화하는 이중 최적화 알고리즘을 제안하며, 분포 공간에서 강력한 이중성이 유지됨을 보장한다.
• Lagrangian VAE(LagVAE)를 제안하며, 이는 InfoVAE 목표를 위한 실용적 구현으로서, 상호정보량과 제약 충족 간 명시적 트레이드오프를 가능하게 한다.
• MMD와 ELBO를 일치성 제약 조건으로 사용하며, 제약 위반 허용도를 제어하기 위해 슬랙 변수를 도입한다.
• 라그랑주 승수 α₁의 부호를 기반으로 한 제어를 통해 탇도 내에서 상호정보량을 최대화하거나 최소화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 다양한 잠재변수 생성 모델들이 하나의 최적화 프레임워크로 통합될 수 있는가?
• RQ2 VAE, GAN, InfoGAN 등의 기존 학습 목표에서 유래된 통계적 및 계산적 트레이드오프는 무엇인가?
• RQ3 기존 방법에서 고정된 라그랑주 승수가 하위 최적 성능과 예측 불가능한 트레이드오프를 초래하는 이유는 무엇인가?
• RQ4 모델 파라미터와 라그랑주 승수를 동시에 최적화하는 것이 상호정보량과 제약 충족 측면에서 파레토 최적 해를 달성할 수 있는가?
• RQ5 제안된 이중 최적화 방법이 InfoVAE와 같은 기존 방법보다 상호정보량 및 일치성 메트릭에서 뛰어난 성능을 보이는가?

주요 결과

• 검토된 모든 생성 모델—VAE, GAN, InfoGAN—이 동일한 제약 최적화 문제의 라그랑주 이중 함수임이 입증되었다.
• 라그랑주 승수 α₁의 부호가 상호정보량을 최대화할지 최소화할지 결정하며, 그 크기는 결과에 영향을 주지 않는다.
• 라그랑주 VAE(LagVAE)는 일치성 제약 조건으로 정의된 타당 영역 내에서 최대 또는 최소 상호정보량을 안정적으로 달성한다.
• 학습 및 테스트 세트에서 LagVAE는 모든 InfoVAE 하이퍼파rameter 설정을 파레토 지배한다: 어떤 InfoVAE 설정도 상호정보량과 ELBO를 동시에 더 잘 달성하지 못한다.
• 실험 결과에 따르면, 주어진 ELBO 값에 대해 LagVAE는 상호정보량을 최대화할 경우 동일하거나 더 높은 상호정보량을 달성하며, 최소화할 경우 동일하거나 더 낮은 상호정보량을 달성한다.
• 이 방법은 분포 공간에서 강력한 이중성을 달성하여, 이중 최적화 절차가 제약 조건을 충족하면서도 원래 최적화 문제를 최적으로 해결함을 보장한다.