[논문 리뷰] Importance Weighting and Variational Inference

Justin Domke, Daniel Sheldon|arXiv (Cornell University)|2018. 08. 27.

Gaussian Processes and Bayesian Inference인용 수 51

한 줄 요약

IWVI는 중요도 가중치를 증강 변분 추론에 연결하고, 순수한 확률 추론에 대한 사용을 분명히 하며 타원 분포와 방어적 샘플링을 통한 개선을 보여준다.

ABSTRACT

Recent work used importance sampling ideas for better variational bounds on likelihoods. We clarify the applicability of these ideas to pure probabilistic inference, by showing the resulting Importance Weighted Variational Inference (IWVI) technique is an instance of augmented variational inference, thus identifying the looseness in previous work. Experiments confirm IWVI's practicality for probabilistic inference. As a second contribution, we investigate inference with elliptical distributions, which improves accuracy in low dimensions, and convergence in high dimensions.

연구 동기 및 목표

• IWVI가 학습을 넘어서 순수 확률 추론으로 변분 추론을 확장하는 방법을 명확히 한다.
• IWVI가 정밀한 생성 프로세스를 통해 증강 VI의 한 예임을 보인다.
• 타원 분포와 방어적 샘플링이 추론 및 수렴을 개선하는 역할을 조사한다.

제안 방법

• ELBO 분해를 검토하고, 다중 샘플 추정기에 대한 기대로 IW-ELBO를 도출한다.
• 증강 결합 분포 p_M 및 q_M를 정의하고 이들의 ELBO 분해를 증명한다( IWVI 정리 ).
• IWVI를 자기정규화된 중요 샘플링과 연결하고 Lemma/Theorem의 결과를 통해 그 차이를 정량화한다.
• 큰 M에서 IW-ELBO의 점근적 동작을 분석하고 경계의 느슨해짐을 R의 분산과 연결한다.
• 타원 분포와 강건한 추론을 위한 일반화된 재매개화(재매개화) 방법을 도입한다( Elliptical VI ).
• Dirichlet, 잡음 모델, 그리고 Cauchy 사전분포를 갖는 로지스틱 회귀에 대한 실험을 통해 실용적 이득을 보여준다.

실험 결과

연구 질문

• RQ1 IWVI가 표준 VI에 비해 log p(x)의 경계를 어떻게 더 촘촘하게 만드나요?
• RQ2 증강 VI 맥락에서 IWVI와 자기정규화된 중요 샘플링 사이의 정확한 관계는 무엇인가요?
• RQ3 타원 분포와 방어적 샘플링이 추론 정확도와 수렴에 어떤 영향을 미치나요?
• RQ4 테스트 시점의 후방 기대치 및 확률적 질의에 대한 IWVI의 함의는 무엇인가요?

주요 결과

• IWVI는 다중 중요 가중치 항을 평균화하여 log p(x)에 대한 더 촘촘한 IW-ELBO 경계를 제공합니다.
• IW-ELBO를 최대화하는 것은 증강 결합 분포 q_M와 p_M 사이의 KL 발산을 최소화하는 것과 같다.
• IWVI의 간격은 두 개의 KL 항으로 분해될 수 있으며, 이는 추론 목적을 위한 상한을 최소화한다는 것을 강조한다.
• M이 커지면 경계의 느슨해짐은 R의 분산에 의해 좌우되며, 경계의 촘촘함을 중요도 가중치의 분산과 연결한다.
• 타원 VI는 저차원에서 작은 개선을 제공하고 차원이 높아질수록 수렴이 더 좋아지며, 특히 q가 p에 잘 맞지 않을 때 그렇다.
• 경험적 결과는 IWVI가 추론 오류를 줄이고 다양한 합성 및 실제 세계 유사 설정에서 견고성을 향상시킨다.