[논문 리뷰] Variational f-divergence Minimization

Ming‐Tian Zhang, Thomas Bird외 3명|arXiv (Cornell University)|2019. 07. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 10

한 줄 요약

이 논문은 최대우도 이외의 잠재변수 모델 학습을 위한 f-발산에 대한 변분 상계를 제안하며, 역KL과 같은 다양한 f-발산을 최적화할 수 있도록 확장된 보조 변분 방법을 활용한다. 이 방법은 표준 VAE 학습에 최소한의 수정만으로도 이미지 생성에서 모드 탐색과 같은 질적으로 다른 모델 행동을 가능하게 한다.

ABSTRACT

Probabilistic models are often trained by maximum likelihood, which corresponds to minimizing a specific f-divergence between the model and data distribution. In light of recent successes in training Generative Adversarial Networks, alternative non-likelihood training criteria have been proposed. Whilst not necessarily statistically efficient, these alternatives may better match user requirements such as sharp image generation. A general variational method for training probabilistic latent variable models using maximum likelihood is well established; however, how to train latent variable models using other f-divergences is comparatively unknown. We discuss a variational approach that, when combined with the recently introduced Spread Divergence, can be applied to train a large class of latent variable models using any f-divergence.

연구 동기 및 목표

• 잠재변수 모델에 대해 최대우도(전방 KL)를 초월한 더 넓은 범위의 f-발산으로 변분 추론를 확장하는 것.
• 복잡한 모델에서 비우도 기반 f-발산에 대한 일반적인 변분 학습 방법의 부족을 해결하는 것.
• 샘플 정밀도를 우선시하는 역KL과 같은 발산을 사용한 학습을 가능하게 하는 것.
• 공통 분포 p(x,z)와 q(z|x)에 기반한 변분 추론을 통해 근사 가능한, 미분 가능한 f-발산 상계를 제공하는 것.
• 다양한 f-발산이 고차원 생성 과제에서 질적으로 다른 모델 행동을 유도함을 보여주는 것.

제안 방법

• 공통 공간 (x,z) 에 대한 보조 변분 분포를 도입함으로써 f-발산 D_f(p||q) 에 대한 변분 상계를 제안한다.
• f의 쌍대 함수(Fenchel 공액)를 사용하여 f-발산에 대한 공동 상계를 유도함으로써 계산 가능한 최적화를 가능하게 한다.
• Agakov & Barber(2004)의 보조 변분 방법을 적용하여 공통 분포 p(x,z)와 q(z|x)에 의존하는 상계를 구성한다.
• 재매개변수화 기법을 활용하여 모델 파라미터 θ와 추론 네트워크 파라미터 φ의 기울기 기반 최적화를 가능하게 한다.
• 최근 소개된 스프레드 발산(Spread Divergence)을 활용하여 변분 상계를 안정화하고 학습 안정성을 향상시킨다.
• 확률적 경사하강법을 통해 상계를 최적화하며, 최적의 변분 근사에서 상한이 진짜 f-발산으로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 잠재변수 모델에 대해 f-발산 최소화를 최대우도를 초월해 일반화할 수 있는가?
• RQ2 비우도 목표를 위한 엔드 투 엔드 학습을 가능하게 하는 f-발산에 대한 변분 상계를 어떻게 구성할 수 있는가?
• RQ3 전방 KL과 역KL 또는 다른 f-발산으로 학습할 경우 모델 행동에 어떤 질적 차이가 있는가?
• RQ4 제안된 방법이 샘플 정밀도를 우선시하는 발산을 사용한 생성 모델의 효과적인 학습을 가능하게 하는가?
• RQ5 고차원 생성 과제, 예를 들어 이미지 합성에서 f-발산의 선택이 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 f-발산에 대한 변분 상한은 전방 KL 외의 어떤 f-발산을 사용한 잠재변수 모델 학습에도 적용 가능하다.
• 역KL 발산으로 학습할 경우 모드 탐색 행동이 나타나며, 몇몇 주요 모드 주변의 고정밀도 샘플에 집중하는 반면, 전방 KL은 모드 커버리지 행동을 보인다.
• 이미지 생성 과제에서는 표준 VAE가 전방 KL로 학습하는 것과 비교해 역KL로 학습한 결과 더 선명하고 고정밀도의 샘플을 생성한다.
• 표준 VAE 학습 파이프라인에 최소한의 수정만으로도 적용 가능하므로 실용적이고 접근성이 높다.
• f-발산에 대한 상한은 미분 가능하며 재매개변수화 기법을 통해 확률적 최적화에 적합하다.
• 저차원 토이 문제에 대한 실증 결과는 다양한 f-발산이 서로 다른 모델 적합을 유도함을 확인하며, 이론적 유연성을 검증한다.