[논문 리뷰] Bayesian Learning with Wasserstein Barycenters

Julio Backhoff‐Veraguas, Joaquín Fontbona외 2명|arXiv (Cornell University)|2018. 05. 28.

Markov Chains and Monte Carlo Methods인용 수 4

한 줄 요약

이 논문은 베이지안 학습에서 사후 분포의 인구 평균을 계산하는 데 워샤르스타인 거리(Wasserstein distance)를 사용하는 새로운 모델 선택 전략인 베이지안 워샤르스타인 바리센터(Bayesian Wasserstein Barycenter, BWB)를 소개한다. 이 방법은 최적 운반 이론을 활용하여 베이지안 모델 평균(Bayesian Model Averaging, BMA)보다 분산이 낮은 예측 사후 분포를 생성하며, 이론과 실험을 통해 배치 미분 경량 하강법(batch stochastic gradient descent)을 워샤르스타인 공간에서 적용했을 때 더 빠른 수렴과 낮은 분산을 달성함을 보여준다.

ABSTRACT

We introduce and study a novel model-selection strategy for Bayesian learning, based on optimal transport, along with its associated predictive posterior law: the Wasserstein population barycenter of the posterior law over models. We first show how this estimator, termed Bayesian Wasserstein barycenter (BWB), arises naturally in a general, parameter-free Bayesian model-selection framework, when the considered Bayesian risk is the Wasserstein distance. Examples are given, illustrating how the BWB extends some classic parametric and non-parametric selection strategies. Furthermore, we also provide explicit conditions granting the existence and statistical consistency of the BWB, and discuss some of its general and specific properties, providing insights into its advantages compared to usual choices, such as the model average estimator. Finally, we illustrate how this estimator can be computed using the stochastic gradient descent (SGD) algorithm in Wasserstein space introduced in a companion paper arXiv:2201.04232v2 [math.OC], and provide a numerical example for experimental validation of the proposed method.

연구 동기 및 목표

• 최적 운반 이론에 기반한 새로운 베이지안 모델 선택 기준을 개발하는 것.
• 모델의 사후 분포의 인구 바리센터로서 베이지안 워샤르스타인 바리센터(BWB)를 정의하고 분석하는 것.
• 정규 조건 하에서 BWB의 존재성, 유일성, 통계적 일致성과 같은 이론적 성질을 확립하는 것.
• 분산과 수렴 행동 측면에서 전통적인 추정기인 BMA와 MAP와 BWB를 비교하는 것.
• 워샤르스타인 공간에서의 배치 미분 경량 하강법을 사용하여 BWB를 효율적으로 계산하는 방법을 제안하고 검증하는 것.

제안 방법

• BWB는 p-워샤르스타인 위험 함수의 최소화자로 정의된다: $\hat{m}_p^n = \arg\min_{m \in \mathcal{M}} \int_{\mathcal{P}(\mathcal{X})} W_p(m, \bar{m})^p \, \Pi_n(d\bar{m})$, 여기서 $\Pi_n$은 모델에 대한 사후분포이다.
• 이 방법은 모델의 사후 분포를 확률 분포 공간 위의 측도로 간주하고, 최적 운반을 통해 그 워샤르스타인 바리센터를 계산한다.
• 이론적 분석을 통해 BWB의 존재성과 일치성 조건을 확립하였으며, 진정한 모델 $m_0$에서 i.i.d. 표본을 추출할 경우 사후 일치성도 포함한다.
• 워샤르스타인 공간에서의 확률적 경량 하강법(SGDW)을 사용하여 BWB를 효율적으로 계산하며, 분산을 줄이기 위해 배치 처리를 적용한다.
• 알고리즘은 단계 크기 $\gamma_t = 1/t$를 사용하고, 워샤르스타인 공간 내 반복적인 투영을 통해 바리센터 추정치를 갱신한다.
• 수치적 검증은 다양한 표본 크기와 배치 크기에서 진짜 모델 $m_0$와의 $W_2^2$ 거리로 BWB를 경험 바리센터와 비교한다.

실험 결과

연구 질문

• RQ1 관측 수가 증가함에 따라 베이지안 워샤르스타인 바리센터(BWB)는 존재하고 일관성을 유지하는가?
• RQ2 분산과 수렴 속도 측면에서 BWB는 베이지안 모델 평균(BMA)과 어떻게 비교되는가?
• RQ3 워샤르스타인 공간에서의 확률적 경량 하강법을 사용하여 BWB를 효율적으로 계산할 수 있는가?
• RQ4 BWB를 계산하기 위한 배치-SGDW 방법은 경험 바리센터 추정기보다 분산이 낮은가?
• RQ5 BWB는 어떤 조건에서 $W_2$ 거리 기준으로 진짜 데이터 생성 모델 $m_0$로 수렴하는가?

주요 결과

• 표본 표준편차 비교 결과(표 4 참조)에 따르면, BWB 추정기는 베이지안 모델 평균(BMA)보다 분산이 낮음을 확인하였다.
• 배치 크기 $s \geq 5$일 경우, 반복당 사용하는 표본 수가 적음에도 불구하고, 확률적 경량 하강법은 경험 추정기보다 낮은 분산의 BWB 추정치를 생성하였다.
• 진짜 모델 $m_0$와의 평균 $W_2^2$ 거리는 표본 크기 $n$이 증가함에 따라 감소하였으며, $n=500$이고 배치 크기 $s=5$일 때 0.0039에 도달하였다.
• 배치-SGDW 방법은 특히 큰 배치 크기를 사용할 경우 더 빠른 수렴과 진짜 모델 주위의 더 좁은 집중도를 보였으며, 이는 그림 7에서 확인할 수 있다.
• MCMC를 통해 구성한 경험 사후분포는 $W_2$ 거리 기준에서 일관성을 보였으며, 이는 BWB 계산에의 활용 가능성을 검증하였다.
• 관측 수 $n \to \infty$일 때 BWB 추정기는 $W_2$ 거리 기준으로 진짜 모델 $m_0$로 수렴함을 확인하였으며, 이는 i.i.d. 표본 추출 조건 하에서의 사후 일致성 확인을 의미한다.