[논문 리뷰] Universal Boosting Variational Inference

Trevor Campbell, Xinglong Li|arXiv (Cornell University)|2019. 06. 04.

Statistical Methods and Inference참고 문헌 55인용 수 11

한 줄 요약

이 논문은 헬링거 거리(Hellinger distance)를 사용하여 강력하고 확장 가능하며 보편적으로 수렴하는 사후 분포 근사법을 가능하게 하는 새로운 변분 추론 방법인 Universal Boosting Variational Inference (UBVI)를 소개한다. 헬링거 거리 기반의 단위 구면 기하학(unit-spherical geometry)을 활용함으로써 UBVI는 구성 요소 최적화에서의 극단화 현상(degeneracy)을 피하고, 수시 조정이 필요한 정규화를 제거하며, 모델 잘못 지정 시에도 혼합 가족 내 최상의 근사치로 수렴함을 보장한다.

ABSTRACT

Boosting variational inference (BVI) approximates an intractable probability density by iteratively building up a mixture of simple component distributions one at a time, using techniques from sparse convex optimization to provide both computational scalability and approximation error guarantees. But the guarantees have strong conditions that do not often hold in practice, resulting in degenerate component optimization problems; and we show that the ad-hoc regularization used to prevent degeneracy in practice can cause BVI to fail in unintuitive ways. We thus develop universal boosting variational inference (UBVI), a BVI scheme that exploits the simple geometry of probability densities under the Hellinger metric to prevent the degeneracy of other gradient-based BVI methods, avoid difficult joint optimizations of both component and weight, and simplify fully-corrective weight optimizations. We show that for any target density and any mixture component family, the output of UBVI converges to the best possible approximation in the mixture family, even when the mixture family is misspecified. We develop a scalable implementation based on exponential family mixture components and standard stochastic optimization techniques. Finally, we discuss statistical benefits of the Hellinger distance as a variational objective through bounds on posterior probability, moment, and importance sampling errors. Experiments on multiple datasets and models show that UBVI provides reliable, accurate posterior approximations.

연구 동기 및 목표

• 기본적인 변분 추론의 근본적 한계를 해결하라. 이는 변분 가족이 진정한 사후 분포를 포함하지 못할 경우 발생하는 낮은 근사 품질로 이어진다.
• 기존 부스팅 변분 추론(BVI) 방법에서 발생하는 극단화 현상(degeneracy) 문제를 해결하라. 이는 칼람베르크-라이블러(Kullback-Leibler) 발산의 비연속성과 수시 조정이 필요한 정규화에 기인한다.
• 이론적으로 탄탄하고 확장 가능하며 보편적으로 수렴하는 변분 추론 프레임워크를 개발하라. 이는 모델 잘못 지정 시에도 혼합 가족 내 최상의 근사치로 수렴함을 보장한다.
• 힐버트 공간 프레임워크 내에서 헬링거 거리의 기하적 성질을 활용하여 BVI의 체계적 대안을 제공하라.
• 지수 가족 구성 요소와 확률적 최적화를 사용하여 실용적인 구현을 가능하게 하여 대규모 베이지안 모델에서의 계산적 확장성을 확보하라.

제안 방법

• 변분 추론을 헬링거 거리를 발산 측정으로 사용하여 설정하라. 이는 확률 밀도의 힐버트 공간 내에서 단위 구면 기하학(unit-spherical geometry)을 유도한다.
• 헬링거 기하학 내에서 기울기 기반 최적화를 사용하여 반복적으로 혼합 구성 요소를 추가하고 재가중치를 설정하라. 이는 구성 요소와 가중치의 동시 최적화를 피한다.
• 헬링거 거리가 완전 보정 가중치 업데이트를 단순화하고, 목표 밀도의 정규화 상수를 알 필요가 없음을 활용한다.
• 헬링거 공간 내 기하학적 기울기(geodesic) 업데이트를 바탕으로 재귀적 업데이트 규칙을 구성하라. 이는 오차 감소의 단조성과 혼합 가족 내 최상의 근사치로의 수렴을 보장한다.
• 확장 가능한 대규모 데이터셋에 적합한 지수 가족 구성 요소와 확률적 최적화 기법을 사용하여 방법을 구현하라.
• 혼합 가족이 잘못 지정된 경우에도 일반 조건 하에서 수렴을 증명하기 위해 힐버트 공간 사영과 콘 기하학(cone geometry)을 기반으로 한 새로운 이론적 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 모델 잘못 지정 여부에 관계없이 주어진 혼합 가족 내 최상의 근사치로 보편적으로 수렴하는 부스팅 변분 추론 방법을 설계할 수 있는가?
• RQ2 헬링거 거리를 칼람베르크-라이블러 발산 대신 사용할 경우, 구성 요소 최적화에서의 극단화 현상이 제거되고 수시 조정이 필요한 정규화가 필요 없어지는가?
• RQ3 헬링거 공간의 기하학적 구조를 활용하여 가중치 최적화를 단순화하고 구성 요소-가중치 동시 업데이트를 피할 수 있는가?
• RQ4 후행 확률, 모멘트, 중요도 샘플링 오차의 경계를 제공하는 측면에서, 헬링거 거리를 변분 目적으로 사용할 경우 어떤 통계적 이점이 있는가?
• RQ5 다양한 모델과 데이터셋에서 기존 BVI 및 VI 방법과 비교해 실용적으로 정확도, 신뢰성, 확장성 측면에서 제안된 방법은 어떻게 성능을 발휘하는가?

주요 결과

• UBVI는 혼합 가족이 잘못 지정된 경우조차도 어떤 목표 밀도에 대해도 혼합 가족 내 최상의 근사치로 수렴함을 보장한다.
• 헬링거 거리의 부드럽고 단위 구면 기하학을 활용함으로써 구성 요소 최적화에서의 극단화 현상을 방지하고, 수시 조정이 필요한 정규화가 필요 없어진다.
• 수렴성은 재귀적 오차 감소 경계를 통해 증명되며, 이는 오차가 반복 수 $ n $ 에 대해 $ O(1/n) $ 의 속도로 감소함을 보장한다.
• 헬링거 거리를 변분 목적 함수로 사용하면 사후 확률, 모멘트, 중요도 샘플링 오차에 대한 더 날카운 경계를 제공하여 통계적 신뢰성을 향상시킨다.
• 다양한 데이터셋과 모델에 대한 실험 결과, UBVI는 기존 BVI 및 VI 방법보다 더 정확하고 신뢰할 수 있는 사후 분포 근사치를 제공함을 입증한다.
• 지수 가족 구성 요소와 확률적 최적화를 사용한 확장 가능한 구현은 이론적 보장을 유지하면서도 대규모 베이지안 모델에서의 효율적 학습을 가능하게 한다.