[논문 리뷰] Tractable Fully Bayesian Inference via Convex Optimization and Optimal Transport Theory

Sanggyun Kim, Diego Mesa외 2명|arXiv (Cornell University)|2015. 09. 29.

Gaussian Processes and Bayesian Inference참고 문헌 30인용 수 4

한 줄 요약

이 논문은 볼록 최적화와 최적 운반 이론을 사용하여 완전 베이지안 추론을 위한 처리 가능한 프레임워크를 제안한다. 이는 사전분포와 우도가 모두 로그-볼록일 경우 사후 분포에서 효율적인 샘플링과 베이지안 리스크 계산을 가능하게 한다. 주요 기여는 이전에는 최대사후확률( MAP ) 추정에만 충분했던 로그-볼록성 조건이, 최적 운반 맵을 통한 정규화 상수 계산과 i.i.d. 사후 샘플 생성에도 처리 가능한 계산을 보장한다는 점이다.

ABSTRACT

We consider the problem of transforming samples from one continuous source distribution into samples from another target distribution. We demonstrate with optimal transport theory that when the source distribution can be easily sampled from and the target distribution is log-concave, this can be tractably solved with convex optimization. We show that a special case of this, when the source is the prior and the target is the posterior, is Bayesian inference. Here, we can tractably calculate the normalization constant and draw posterior i.i.d. samples. Remarkably, our Bayesian tractability criterion is simply log concavity of the prior and likelihood: the same criterion for tractable calculation of the maximum a posteriori point estimate. With simulated data, we demonstrate how we can attain the Bayes risk in simulations. With physiologic data, we demonstrate improvements over point estimation in intensive care unit outcome prediction and electroencephalography-based sleep staging.

연구 동기 및 목표

• 고차원 설정에서 완전 베이지안 추론의 계산 불가능성, 특히 정규화 상수 βy의 불가능성 문제를 해결한다.
• MCMC와 변분 추론의 한계를 극복하여 전체 사후 분포에서 정확하고 처리 가능한 샘플링을 가능하게 한다.
• 몬테카를로 근사와 수렴 문제를 피하는 일반 목적의 불확실성 정량화 프레임워크를 개발한다.
• MAP 추정을 가능하게 하는 동일한 로그-볼록성 조건이 최적 운반을 통해 전체 베이지안 추론의 처리 가능성까지 보장함을 보여준다.
• 조건부 기대값과 사전 정보 이득, 상호정보량과 같은 정보 측정치를 계산하여 실용적인 베이지안 의사결정을 가능하게 한다.

제안 방법

• 최적 운반 맵을 사용하여 사전 분포의 샘플을 사후 분포로의 변환으로서 베이지안 추론을 공식화한다.
• 사전분포와 사후분포 간의 쿨백-라이블러 발산을 최소화하는 최적 운반 맵을 계산하기 위해 볼록 최적화를 사용한다.
• 사후분포의 로그-볼록성을 활용하여 최적화 문제가 볼록적이며 처리 가능하도록 보장한다.
• 로그-볼록한 구조를 유지하는 파라미터화된 단조 증가, 미분 가능한 변환 가족(예: 정규화 플로우)을 통해 운반 맵을 구성한다.
• 학습된 운반 맵을 사용하여 MCMC나 중요도 샘플링 없이 i.i.d. 사후 샘플을 생성한다.
• 변환된 샘플을 사용하여 베이즈 의사결정 규칙(예: 베이즈 리스크)과 정보이론적 측정치(예: 상호정보량)를 계산한다.

실험 결과

연구 질문

• RQ1 사후분포가 로그-볼록일 경우, 볼록 최적화를 사용하여 완전 베이지안 추론을 처리 가능한 방식으로 수행할 수 있는가?
• RQ2 MAP 추정의 처리 가능성을 보장하는 동일한 로그-볼록성 조건이 최적 운반을 통해 사후 샘플링과 정규화 상수 계산의 처리 가능성까지 보장하는가?
• RQ3 최적 운반 맵을 사용하여 사전 샘플을 i.i.d. 사후 샘플로 변환하면서 분포 정확도를 유지할 수 있는가?
• RQ4 분류 및 결과 예측과 같은 의사결정 과제에서 점추정치보다 전체 사후 기대값을 사용할 경우 성능 향상은 어떠한가?
• RQ5 표준 MAP 추정 및 MCMC와 비교하여 제안된 방법은 예측 정확도와 계산 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 로그-볼록 사후분포에 대해 볼록 최적화를 사용하여 정규화 상수 βy의 정확하고 처리 가능한 계산을 가능하게 한다.
• MAP 추정의 처리 가능성을 보장하는 동일한 로그-볼록성 조건이 최적 운반을 통해 전체 베이지안 추론의 처리 가능성까지 보장한다.
• MCMC를 사용하지 않아서 초기화 시간과 수렴 문제 없이 i.i.d. 사후 샘플을 생성한다.
• ICU 결과 예측 과제에서 전체 사후 기대값 기반의 베이즈 의사결정 규칙이 MAP 기반 의사결정 규칙보다 유의미하게 높은 AUC를 달성했다.
• 이 프레임워크는 사후 정보 이득과 상호정보량을 정확하게 계산할 수 있어 순차적 실험 설계와 그래픽 모델 구축을 가능하게 한다.
• 이 방법은 베이지안 추론을 초월하여 일반적이며, 데이터 압축 및 메시지 전달 시스템 등 잠재적 응용 분야가 많다.