[논문 리뷰] Boosting Variational Inference

Fangjian Guo, Xiangyu Wang외 3명|arXiv (Cornell University)|2016. 11. 17.

Bayesian Methods and Mixture Models참고 문헌 36인용 수 47

한 줄 요약

이 논문은 부스팅 변분 추론(BVI)을 소개한다. BVI는 가우시안과 같은 매개수 기반 분포에서 성분을 추가함으로써 혼합 모델에 대한 사후 분포 근사를 반복적으로 향상시키는 새로운 변분 추론(VI) 알고리즘으로, 다중모달성과 비정규성의 사후 분포를 정확하게 포착할 수 있다. 기존의 표준 VI 방법과 달리 BVI는 더 유연한 혼합 가족을 통해 계산 시간을 늘림으로써 진정한 사후 분포로 수렴할 수 있다.

ABSTRACT

Variational inference (VI) provides fast approximations of a Bayesian posterior in part because it formulates posterior approximation as an optimization problem: to find the closest distribution to the exact posterior over some family of distributions. For practical reasons, the family of distributions in VI is usually constrained so that it does not include the exact posterior, even as a limit point. Thus, no matter how long VI is run, the resulting approximation will not approach the exact posterior. We propose to instead consider a more flexible approximating family consisting of all possible finite mixtures of a parametric base distribution (e.g., Gaussian). For efficient inference, we borrow ideas from gradient boosting to develop an algorithm we call boosting variational inference (BVI). BVI iteratively improves the current approximation by mixing it with a new component from the base distribution family and thereby yields progressively more accurate posterior approximations as more computing time is spent. Unlike a number of common VI variants including mean-field VI, BVI is able to capture multimodality, general posterior covariance, and nonstandard posterior shapes.

연구 동기 및 목표

• 제약된 근사 가족으로 인해 표준 변분 추론(VI)이 다중모달성과 비정규성의 사후 분포를 포착하지 못하는 한계를 해결하기 위해.
• 최적화의 극한에서도 진정한 사후 분포가 포함되지 않는 평균-장 VI 및 관련 방법의 근본적 문제를 해결하기 위해.
• 계산 시간을 투자해 통계적 정확도를 높이는 스케일링 가능한 반복적 VI 알고리즘을 개발하기 위해.
• 유한한 혼합 모델을 사용해 매개수 기반 분포(예: 가우시안)의 유연한 사후 근사를 가능하게 하여 임의의 연속 밀도를 임의로 정밀하게 근사할 수 있도록 하기 위해.
• 초기화에 민감하거나 복잡한 사후 구조를 모델링하지 못하는 기존 VI 방법들에 대한 실용적이고 강건한 대안을 제공하기 위해.

제안 방법

• 기본 분포(예: 가우시안)의 모든 유한한 혼합 모음에 대한 최적화 문제로 사후 근사를 공식화함으로써, 표준 평균-장 또는 전체 랭크 가족보다 더 표현력이 뛰어난 가족을 사용하기 위해.
• 부스팅 기반 전략을 채택함: 단일 성분 근사를 시작으로, 반복적으로 기본 가족에서 새로운 성분을 추가하여 근사를 향상시키기 위해.
• 각 반복 단계에서 새로운 혼합 성분의 최적 매개수(위치, 척도, 가중치)를 구하기 위해 기울기 기반 업데이트를 사용하기 위해.
• 고차원 사후 분포에 스케일링하기 위해 입자 기반 평가(n=100개 입자)를 사용한 확률적 기울기 추정을 활용하기 위해.
• 현재 변분 근사를 유지하고, 진정한 사후 분포로의 KL 발산을 최소화하기 위해 성분 추가를 통해 업데이트하기 위해.
• 계산 시간에 따라 성분 수를 늘릴 수 있도록 허용함으로써, 더 나은 근사로의 수렴과 유연성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 유한한 매개수 기반 분포(예: 가우시안)의 혼합 모델을 사용하는 변분 추론 방법이, 표준 평균-장 또는 전체 랭크 VI보다 복잡한 다중모달 사후 분포를 더 잘 근사할 수 있는가?
• RQ2 컴ponent 수나 초기화에 대한 수동 조정이 필요 없이, 반복적이고 부스팅 스타일의 알고리즘이 표준 VI 방법보다 사후 근사 정확도를 향상시킬 수 있는가?
• RQ3 BVI는 고차원 모델에서 다중모달성과 일반적인 공분산 구조를 포함한 비정규 사후 형태를 효과적으로 포착할 수 있는가?
• RQ4 복잡한 기하학적 특성을 지닌 도전적인 사후 분포에 대해 BVI는 ADVI 및 NUTS와 비교해 수렴 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 기타 VI 방법들과 비교해 BVI에서는 계산 시간과 사후 근사 정확도 사이의 상충 관계는 어떻게 되는가?

주요 결과

• BVI는 ADVI가 복잡한 비정규 형태를 모델링하지 못하는 센서 네트워크 위치 결정 문제에서 다중모달 사후 분포를 성공적으로 포착한다.
• 센서 네트워크 문제에서 BVI는 200회의 반복 후 사후 평균의 상대 오차(REM)가 0.05 이하로 떨어지며, 이는 ADVI가 100,000회 반복한 후에도 뒤지지 않는 성능을 보인다.
• Nodal 데이터셋에서의 베이지안 로지스틱 회귀 문제에서 BVI는 평균-장 VI가 공분산을 0으로 설정하는 것과는 달리 더 정확한 사후 분산 및 공분산 추정을 제공한다.
• 로지스틱 회귀 예제에서 BVI의 사후 평균 추정치는 실제값(Polya-Gamma MCMC 기반)에 매우 가까워 REM 값이 0.03 이하로 유지된다.
• 기존의 고정된 성분 수를 가진 많은 VI 방법들과 달리, BVI는 초기화에 대해 강건하며 다중 재시작이 필요하지 않다.
• BVI의 성능은 계산 시간이 증가함에 따라 단조롭게 향상되며, 더 긴 런타임이 점진적으로 더 나은 근사를 이끌어낸다.