[논문 리뷰] Boosting Black Box Variational Inference

Francesco Locatello, Gideon Dresdner외 3명|arXiv (Cornell University)|2018. 06. 06.

Gaussian Processes and Bayesian Inference인용 수 19

한 줄 요약

이 논문은 프랭크-울프 알고리즘을 사용하여 밀도의 혼합을 반복적으로 구성함으로써 근사 품질을 향상시키는 블랙박스 변분 추론(BBVI) 프레임워크를 제안한다. 수렴 조건을 완화하고 잔차 ELBO(RELBO)를 도입함으로써, 맞춤형 LMO가 필요 없이 완전히 블랙박스 구현이 가능해졌으며, 다양한 모델에서 더 낮은 분산과 향상된 안정성을 보이는 더 나은 사후 근사 결과를 달성한다.

ABSTRACT

Approximating a probability density in a tractable manner is a central task in Bayesian statistics. Variational Inference (VI) is a popular technique that achieves tractability by choosing a relatively simple variational family. Borrowing ideas from the classic boosting framework, recent approaches attempt to \emph{boost} VI by replacing the selection of a single density with a greedily constructed mixture of densities. In order to guarantee convergence, previous works impose stringent assumptions that require significant effort for practitioners. Specifically, they require a custom implementation of the greedy step (called the LMO) for every probabilistic model with respect to an unnatural variational family of truncated distributions. Our work fixes these issues with novel theoretical and algorithmic insights. On the theoretical side, we show that boosting VI satisfies a relaxed smoothness assumption which is sufficient for the convergence of the functional Frank-Wolfe (FW) algorithm. Furthermore, we rephrase the LMO problem and propose to maximize the Residual ELBO (RELBO) which replaces the standard ELBO optimization in VI. These theoretical enhancements allow for black box implementation of the boosting subroutine. Finally, we present a stopping criterion drawn from the duality gap in the classic FW analyses and exhaustive experiments to illustrate the usefulness of our theoretical and algorithmic contributions.

연구 동기 및 목표

• 변분 가족과 LMO 구현에 대한 엄격한 가정이 필요한 while-box 부스팅 VI의 비현실성 문제를 해결하기 위해.
• 모델에 특화된 맞춤형 LMO가 필요 없이 부스팅 VI를 블랙박스로 구현할 수 있도록 하기 위해.
• 엄격한 부드러움 조건 대신 곡률 기반 조건을 완화함으로써 부스팅 VI의 수렴 보장을 향상시키고 실용성을 높이기 위해.
• 프랭크-울프 최적화의 이중성 갭에서 유도된 실용적인 정지 기준을 제공하기 위해.
• 다양한 실제 및 시뮬레이션 베이지안 모델에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 엄격한 부드러움 조건 대신 유연한 경계가 있는 곡률 가정을 사용하는 기능적 프랭크-울프 알고리즘을 활용해 부스팅 VI 문제를 재구성한다.
• 각 부스팅 반복 과정에서 성분 선택이 탈진되지 않도록 보장하기 위해 수정된 목표 함수인 잔차 ELBO(RELBO)를 도입한다.
• 부스팅 서브루틴을 모델에 특화된 구현에서 분리함으로써 블랙박스 호환성을 확보하고, 표준 VI 솔버의 재사용을 가능하게 한다.
• 고전적 프랭크-울프 이론에서 유도된 이중성 갭 기반 정지 기준을 사용하여 최적의 반복 횟수를 결정한다.
• 각 새로운 성분이 유연하고 비단절단된 변분 가족 내에서 RELBO 최대화를 통해 선택되는 반복적 혼합 업데이트를 사용한다.
• 표준 BBVI 백엔드를 사용하여 베이지안 선형 회귀, 행렬 분해, 임상 예측 작업에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 각 모델에 맞춤형 LMO가 필요 없이 부스팅 변분 추론을 완전히 블랙박스로 구현할 수 있는가?
• RQ2 부드러움 가정을 경계가 있는 곡률로 완화함으로써 수렴 보장과 VI에서의 실용성이 향상되는가?
• RQ3 잔차 ELBO(RELBO) 목표 함수가 탈진되지 않으며 고품질의 성분을 보장하면서도 블랙박스 최적화를 가능하게 하는가?
• RQ4 이중성 갭은 실용적인 부스팅 VI의 정지 기준으로 신뢰할 수 있고 효과적인가?
• RQ5 제안된 방법은 표준 BBVI에 비해 더 나은 사후 근사 품질과 낮은 분산을 달성하는가?

주요 결과

• ChemReact 데이터셋에서 라플라스 기반 가족을 사용한 부스팅 BBVI는 테스트 AUROC 0.794 ± 0.005를 기록하여, 라플라스 가족(BBVI)의 0.781 ± 0.012 및 가우시안 가족(BBVI)의 0.790 ± 0.009를 초월했다.
• eICU 데이터셋에서 부스팅 BBVI는 테스트 AUROC 0.844 ± 0.006를 기록하여 기준 BBVI(0.838 ± 0.016)보다 성능 향상과 낮은 분산을 보였다.
• CBCL 얼굴 데이터셋에서의 베이지안 행렬 분해에서, 부스팅 BBVI는 평균 제곱 오차를 0.0135 ± 0.52e-04(D=10)로 줄였고, 기준 BBVI(0.0188 ± 0.001)보다 뛰어났다.
• 보류된 테스트 로그우도에서, 부스팅 BBVI는 -0.9492 ± 0.001(D=10)을 기록하여 기준 BBVI의 -0.9468 ± 0.3e-3를 뛰어넘었다.
• 다양한 반복에서 일관되게 분산이 감소하여 표준 BBVI보다 더 높은 안정성을 보였다.
• 이중성 갭 기반 정지 기준은 최적의 반복 횟수를 효과적으로 식별했으며, ChemReact 및 eICU 데이터셋에서 모두 반복 17회가 최고 성능을 냈다.