[논문 리뷰] Boosting Variational Inference: an Optimization Perspective

Francesco Locatello, Rajiv Khanna외 2명|arXiv (Cornell University)|2017. 08. 05.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 7

한 줄 요약

이 논문은 부스팅 변분 추론의 첫 번째 명시적 수렴 분석을 제공하며, 프랭크-울프 알고리즘과의 연결을 통해 특정 조건 하에서 하위선형 O(1/T) 및 선형 O(e^(-T)) 수렴 속도를 증명한다. 정확한 내부 비볼록 문제의 해가 필요하지 않음을 보여주며, 혼합 기반 사후 근사에 대해 이론적 보장을 갖는 효율적이고 전역 수렴 가능한 알고리즘을 가능하게 한다.

ABSTRACT

Variational inference is a popular technique to approximate a possibly intractable Bayesian posterior with a more tractable one. Recently, boosting variational inference has been proposed as a new paradigm to approximate the posterior by a mixture of densities by greedily adding components to the mixture. However, as is the case with many other variational inference algorithms, its theoretical properties have not been studied. In the present work, we study the convergence properties of this approach from a modern optimization viewpoint by establishing connections to the classic Frank-Wolfe algorithm. Our analyses yields novel theoretical insights regarding the sufficient conditions for convergence, explicit rates, and algorithmic simplifications. Since a lot of focus in previous works for variational inference has been on tractability, our work is especially important as a much needed attempt to bridge the gap between probabilistic models and their corresponding theoretical properties.

연구 동기 및 목표

• 강력한 경험적 성능에도 불구하고 수렴 분석이 부족한 부스팅 변분 추론의 이론적 격차를 메우기 위해.
• 그리디 변분 추론 알고리즘의 전역 수렴을 위한 충분한 조건을 설정하기 위해.
• 상수를 포함한 명시적 수렴 속도를 유도하여 추측된 O(1/T) 수렴 속도를 넘어서기 위해.
• 강력한 이론적 보장을 유지하면서도 단순화된 알고리즘 변형을 개발하기 위해.
• 미세한 조건 하에서 선형 수렴 O(e^(-T)) 가 달성 가능한지, 그리고 이를 통해 수렴 속도를 크게 향상시킬 수 있는지 확인하기 위해.

제안 방법

• 논문은 부스팅 변분 추론의 이론적 기초로 기능적 프랭크-울프 알고리즘의 변형을 수립한다.
• 혼합 밀도의 볼록 집합 위에서의 제약 최소화 문제로 간주함으로써, 성분 추가의 그릿지 수렴을 분석한다.
• 선형 탐색, 고정 단계 크기, 완전 보정 단계를 사용하여 혼합 가중치를 최적화하며, 후자는 선형 수렴을 가능하게 한다.
• 이론적 분석은 KL 발산의 미끄러움과 곡률 가정에 기반하며, 분포 성질로부터 유도된 명시적 경계를 제공한다.
• 모든 혼합 가중치를 각 단계에서 재최적화하는 노름 보정 변형(알고리즘 3)을 도입하여 선형 수렴을 보장하지만, 약간 더 높은 비용이 수반된다.
• 이 프레임워크는 ChemReact 데이터셋에서 베이지안 로지스틱 회귀에 적용되어, 다양한 가중치 최적화 전략을 비교한다.

실험 결과

연구 질문

• RQ1 부스팅 변분 추론의 전역 수렴을 위한 충분한 조건는 무엇인가?
• RQ2 부스팅 변분 추론 알고리즘에 대해 상수를 포함한 명시적 수렴 속도를 도출할 수 있는가?
• RQ3 선형 수렴 O(e^(-T)) 는 달성 가능한가? 어떤 조건 하에서 가능한가?
• RQ4 내부 비볼록 최적화 단계는 수렴 보장을 잃지 않고 근사될 수 있는가?
• RQ5 실제 및 이론적으로, 선형 탐색, 고정 단계 크기, 완전 보정 전략 간의 가중치 업데이트 전략은 어떻게 비교되는가?

주요 결과

• 논문은 부드러운 분포 성질에 기반한 상수를 포함한 명시적 O(1/T) 수렴 속도를 증명하며, 부드러운 가정 하에서 부스팅 변분 추론이 전역 수렴함을 보였다.
• 진짜 사후분포가 가족의 상대 내부에 있을 경우, 선형 수렴 O(e^(-T)) 가 달성되며, 하위선형 수렴 속도보다 크게 뛰어나다.
• 내부 비볼록 문제를 정확히 풀 필요가 없으며, 근사해만으로도 수렴 보장을 유지할 수 있다.
• 완전 보정 프랭크-울프 변형(알고리즘 3)은 선형 수렴을 달성하지만, 반복당 계산 비용이 다소 높다.
• ChemReact 데이터셋에서, 부스팅으로 유도된 가우시안 혼합 모델은 훈련 로그우도와 테스트 AUC 모두에서 평균 장기 변분 추론을 능가한다.
• 이론적 분석은 정규화(예: 공분산의 로그행렬식)가 집합의 유계 직경을 보장함으로써, 상대 내부 조건 하에서 선형 수렴을 가능하게 함을 확인한다.