[논문 리뷰] f-Divergence Variational Inference

Neng Wan, Dapeng Li외 1명|arXiv (Cornell University)|2020. 01. 01.

Domain Adaptation and Few-Shot Learning인용 수 2

한 줄 요약

이 논문은 f-분산 변분 추론(f-VI)을 제안하며, f-분산에 대한 변분 추론을 일반화하는 통합 프레임워크를 제공한다. 이는 보조 f-분산을 최소화하여 구현된다. 마진널 우도 추정을 위한 일반적인 f-변분 경계를 도입하고, 재정의, 중요도 가중치, 몬테카를로 근사 기반의 스 tochastic 및 평균장 최적화 기법을 개발하여, 변분 오토에인코더와 베이지안 신경망과 같은 모델에 넓은 적용 가능성을 확보한다.

ABSTRACT

This paper introduces the $f$-divergence variational inference ($f$-VI) that generalizes variational inference to all $f$-divergences. Initiated from minimizing a crafty surrogate $f$-divergence that shares the statistical consistency with the $f$-divergence, the $f$-VI framework not only unifies a number of existing VI methods, e.g. Kullback-Leibler VI, Renyi's $\alpha$-VI, and $\chi$-VI, but offers a standardized toolkit for VI subject to arbitrary divergences from $f$-divergence family. A general $f$-variational bound is derived and provides a sandwich estimate of marginal likelihood (or evidence). The development of the $f$-VI unfolds with a stochastic optimization scheme that utilizes the reparameterization trick, importance weighting and Monte Carlo approximation; a mean-field approximation scheme that generalizes the well-known coordinate ascent variational inference (CAVI) is also proposed for $f$-VI. Empirical examples, including variational autoencoders and Bayesian neural networks, are provided to demonstrate the effectiveness and the wide applicability of $f$-VI.

연구 동기 및 목표

• f-분산에 기반한 단일 프레임워크로 기존의 변분 추론 방법들을 통합하는 것.
• 기존의 변분 추론이 KL 분산과 같은 특정 분산에 국한되어 있다는 한계를 해결하는 것.
• 임의의 f-분산에 대해 적용 가능한 표준화된 도구집합을 제공하는 것.
• 마진널 우도에 대한 상하한을 제공하는 일반적인 f-변분 경계를 유도하는 것.
• VAE 및 베이지안 신경망과 같은 복잡한 모델에 실용적으로 적용 가능한 확장 가능한 최적화 기법을 개발하는 것.

제안 방법

• 최적화를 위해 원래 f-분산과 통계적 일致성을 유지하는 보조 f-분산을 제안한다.
• 마진널 우도에 대한 상한과 하한을 모두 제공하는 일반적인 f-변분 경계를 도출한다. 이는 샌드위치 추정을 가능하게 한다.
• 재정의 기법, 중요도 가중치, 몬테카를로 근사를 통합한 스 tochastic 최적화 기법을 활용하여 효율적인 기울기 추정을 실현한다.
• 좌표상승 변분 추론(CAVI)을 임의의 f-분산으로 일반화한 평균장 근사 기법을 도입한다.
• 암시적 추론과 구조화된 변분 가족을 모두 사용하여 확률 모델에 프레임워크를 적용한다.
• f-분산 가족을 사용해 변분 근사의 파라미터화를 통해 사후 분포 추정에서의 유연한 분산 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 변분 추론은 KL 분산을 초월해 모든 f-분산으로 일반화될 수 있는가?
• RQ2 통계적 성질을 유지하면서 최적화를 가능하게 하는 일致성 있는 보조 f-분산을 어떻게 구성할 수 있는가?
• RQ3 마진널 우도에 대한 상한과 하한을 모두 제공하는 일반적인 f-변분 경계의 형태는 무엇인가?
• RQ4 스 tochastic 및 평균장 최적화 기법은 어떻게 임의의 f-분산으로 일반화될 수 있는가?
• RQ5 f-변분 추론은 변분 오토에인코더 및 베이지안 신경망과 같은 모델에서 성능 향상에 얼마나 기여하는가?

주요 결과

• f-변분 경계는 마진널 우도에 대한 샌드위치 추정을 제공하며, 상하한을 모두 제공함으로써 우도 근사 향상을 이룬다.
• 보조 f-분산은 원래 f-분산과 통계적 일치성을 유지하여 변분 추론 프레임워크 내에서 신뢰할 수 있는 최적화를 가능하게 한다.
• 재정의, 중요도 가중치, 몬테카를로 근사를 기반으로 한 스 tochastic 최적화 기법은 딥 생성 모델에서의 확장 가능한 학습을 가능하게 한다.
• 평균장 근사 기법은 CAVI를 임의의 f-분산으로 일반화하여 분해된 변분 가족에 대한 반복 최적화를 가능하게 한다.
• 변분 오토에인코더와 베이지안 신경망에서의 실험 결과는 f-VI가 다양한 모델 아키텍처에 걸쳐 효과적이고 광범위하게 적용 가능하다는 것을 입증한다.
• 이 프레임워크는 KL VI, R{é}nyi의 α-변분 추론, χ²-변분 추론과 같은 기존 방법들을 단일 이론적 틀 안에서 통합적으로 성공적으로 통합한다.