[논문 리뷰] Automated Scalable Bayesian Inference via Hilbert Coresets

Trevor Campbell, Tamara Broderick|arXiv (Cornell University)|2017. 10. 13.

Gaussian Processes and Bayesian Inference참고 문헌 52인용 수 18

한 줄 요약

이 논문은 로그우도 함수에서 유도된 힐버트 공간 노름을 기반으로 한 가중치가 부여된 데이터 부분집합을 구성함으로써 완전 자동화되고 확장 가능한 베이지안 추론을 가능하게 하는 힐버트 코어셋을 소개한다. 이 방법은 랜덤 프로젝션을 사용하여 코어셋 구축을 자동화하고, 이론적 보장과 함께 높은 품질의 사후 분포 근사치를 달성하며, 다양한 모델과 데이터셋에서 계산 비용을 크게 감소시킨다.

ABSTRACT

The automation of posterior inference in Bayesian data analysis has enabled experts and nonexperts alike to use more sophisticated models, engage in faster exploratory modeling and analysis, and ensure experimental reproducibility. However, standard automated posterior inference algorithms are not tractable at the scale of massive modern datasets, and modifications to make them so are typically model-specific, require expert tuning, and can break theoretical guarantees on inferential quality. Building on the Bayesian coresets framework, this work instead takes advantage of data redundancy to shrink the dataset itself as a preprocessing step, providing fully-automated, scalable Bayesian inference with theoretical guarantees. We begin with an intuitive reformulation of Bayesian coreset construction as sparse vector sum approximation, and demonstrate that its automation and performance-based shortcomings arise from the use of the supremum norm. To address these shortcomings we develop Hilbert coresets, i.e., Bayesian coresets constructed under a norm induced by an inner-product on the log-likelihood function space. We propose two Hilbert coreset construction algorithms---one based on importance sampling, and one based on the Frank-Wolfe algorithm---along with theoretical guarantees on approximation quality as a function of coreset size. Since the exact computation of the proposed inner-products is model-specific, we automate the construction with a random finite-dimensional projection of the log-likelihood functions. The resulting automated coreset construction algorithm is simple to implement, and experiments on a variety of models with real and synthetic datasets show that it provides high-quality posterior approximations and a significant reduction in the computational cost of inference.

연구 동기 및 목표

• 대규모 데이터셋에서 자동화된 베이지안 추론의 확장성 한계를 해결하기 위해 데이터 크기를 줄이면서도 추론 품질을 유지하는 것.
• 최대노름에 의존하는 기존 코어셋 방법의 단점을 극복하여 낮은 성능과 자동화 부족을 해결하는 것.
• 이론적 근사 보장을 유지하면서 일반 목적의 모델에 관계없이 적용 가능한 코어셋 구축 프레임워크를 개발하는 것.
• 전문가의 튜닝 없이도 코어셋 구축을 완전 자동화하여 다양한 베이지안 모델에 적용 가능한 방법을 제공하는 것.
• 실제 및 시뮬레이션 데이터셋에서 높은 품질의 사후 분포 근사치와 함께 계산 비용을 크게 절감하는 것을 입증하는 것.

제안 방법

• 베이지안 코어셋 구축 문제를 로그우도 함수 공간에서의 희소 벡터 합 근사 문제로 재정의한다.
• 로그우도 함수 공간 상의 내적에 의해 유도된 노름을 사용하는 힐버트 코어셋을 도입하여 최대노름을 대체함으로써 근사 품질을 향상시킨다.
• 이론적 근사 오차 한계를 갖는 두 가지 코어셋 구축 알고리즘을 제안한다: 중요도 표본 추출 기반 알고리즘과 프랭크-울프 알고리즘 기반 알고리즘.
• 로그우도 함수의 무한차원 프로젝션을 통해 모델별 내적 계산을 피하는 방식으로 랜덤 프로젝션을 활용해 방법을 자동화한다.
• 표준 자동 추론 알고리즘에서 전체 데이터셋을 대체하기 위해 가중치가 부여된 코어셋 근사를 사용함으로써 확장 가능한 사후 추론을 가능하게 한다.
• 코어셋 근사 오차의 확률적 경계를 유도하기 위해 농도 부등식을 활용한다.

실험 결과

연구 질문

• RQ1 모델별 튜닝 없이도 이론적 근사 보장을 유지하면서 베이지안 코어셋 구축을 자동화할 수 있는가?
• RQ2 로그우도 함수에 대한 힐버트 공간 노름으로 최대노름을 대체하면 코어셋 근사 품질이 향상되는가?
• RQ3 로그우도 함수의 랜덤 프로젝션을 통해 다양한 베이지안 모델에서 확장 가능하고 자동화된 코어셋 구축이 가능한가?
• RQ4 힐버트 코어셋 방법은 균일한 부분표본 추출 및 표준 코어셋과 비교하여 사후 분포 근사 정확도와 계산 효율성에서 어떻게 성능을 내는가?
• RQ5 제안된 힐버트 코어셋 프레임워크에서 코어셋 크기와 근사 오차 사이의 이론적 관계는 어떠한가?

주요 결과

• 힐버트 코어셋 방법은 실수 및 시뮬레이션 데이터셋에서 로지스틱 회귀, 포isson 회귀, 방향 클러스터링 모델 등 다양한 모델에서 높은 품질의 사후 분포 근사치를 달성한다.
• 모든 평가된 모델과 데이터셋에서 프랭크-울프 기반 힐버트 코어셋 구축 방법이 균일한 랜덤 부분표본 추출 및 균일한 코어셋 기반 방법보다 우수한 성능을 보인다.
• 힐버트 중요도 표본 추출 코어셋 구축 방법은 균일한 부분표본 추출 및 균일한 코어셋과 유사하거나 더 우수한 성능을 보이며, 사후 분포 근사 품질에서 일관된 향상을 보인다.
• 2노름과 피셔 정보 노름은 중요도 표본 추출 및 프랭크-울프 코어셋 구축 모두에서 유사한 성능을 보이며, 노름 선택의 강건성을 검증한다.
• 이론적 경계는 근사 오차가 코어셋 크기가 증가함에 따라 감소함을 보이며, 농도 부등식을 통해 고확률 경계를 유도한다.
• 이 방법은 추론의 계산 비용을 수개월에서 수십만 배로 감소시키면서도 추론 품질을 유지하여 대규모 데이터셋에서의 확장 가능한 베이지안 추론을 가능하게 한다.