[논문 리뷰] Coresets for Scalable Bayesian Logistic Regression

Jonathan H. Huggins, Trevor Campbell외 1명|arXiv (Cornell University)|2016. 05. 20.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 78

한 줄 요약

이 논문은 확장 가능한 베이지안 로지스틱 회귀를 위한 코어셋 기반 접근법을 제안하며, 전체 데이터셋의 우도를 근사하기 위해 작은 무게 부여된 데이터 부분집합을 구성한다. 데이터의 중복성을 활용하고 코어셋 크기와 근사 품질에 대한 이론적 보장을 제공함으로써, 최소한의 계산 오버헤드로 효율적인 MCMC 추론을 가능하게 하며, 실질적으로 데이터셋 크기와 무관한 코어셋 크기를 달성한다.

ABSTRACT

The use of Bayesian methods in large-scale data settings is attractive because of the rich hierarchical models, uncertainty quantification, and prior specification they provide. Standard Bayesian inference algorithms are computationally expensive, however, making their direct application to large datasets difficult or infeasible. Recent work on scaling Bayesian inference has focused on modifying the underlying algorithms to, for example, use only a random data subsample at each iteration. We leverage the insight that data is often redundant to instead obtain a weighted subset of the data (called a coreset) that is much smaller than the original dataset. We can then use this small coreset in any number of existing posterior inference algorithms without modification. In this paper, we develop an efficient coreset construction algorithm for Bayesian logistic regression models. We provide theoretical guarantees on the size and approximation quality of the coreset -- both for fixed, known datasets, and in expectation for a wide class of data generative models. Crucially, the proposed approach also permits efficient construction of the coreset in both streaming and parallel settings, with minimal additional effort. We demonstrate the efficacy of our approach on a number of synthetic and real-world datasets, and find that, in practice, the size of the coreset is independent of the original dataset size. Furthermore, constructing the coreset takes a negligible amount of time compared to that required to run MCMC on it.

연구 동기 및 목표

• 대규모 데이터셋에서 표준 베이지안 추론의 계산 비용 문제를 해결하기 위해 추론 이전에 데이터 크기를 줄이는 것.
• 베이지안 로지스틱 회귀의 사후 근사 품질을 유지하는 코어셋 구성 방법을 개발하는 것.
• 고정된 데이터셋과 데이터 생성 모델에 대한 기대값에 대해 코어셋 크기와 근사 오차에 대한 이론적 보장을 확보하는 것.
• 기존의 추론 알고리즘을 수정하지 않고 스트리밍 및 병렬 환경에서도 효율적인 코어셋 구성이 가능하도록 하는 것.

제안 방법

• 코어셋을 구성하기 위해, 중심 계산을 가속화하기 위해 부분표본화된 데이터셋에 대해 k-means 군집화를 수행하여 대표적인 데이터 포인트를 식별한다.
• 영향력 있는 포인트를 우선순위로 지정하기 위해 각 데이터 포인트의 민감도 점수를 계산하며, 정확도를 높이기 위해 조정된 군집 중심을 사용한다.
• 민감도 점수 비례 확률로 데이터 포인트를 재표본하여 코어셋을 구성하며, 이로써 전체 데이터의 로그우도를 균일하게 근사한다.
• 일반적인 데이터 모델 하에서 농도 부등식과 渐近 분석을 사용하여 코어셋 크기와 근사 오차를 이론적으로 한계를 설정한다.
• 최소한의 오버헤드로 스트리밍 및 병렬 코어셋 구성이 가능하여 확장 가능한 사전처리를 가능하게 한다.
• 최종 코어셋은 MCMC와 같은 표준 사후 추론 알고리즘의 입력으로 사용되며, 알고리즘 수정 없이도 적용 가능하다.

실험 결과

연구 질문

• RQ1 베이지안 로지스틱 회귀에서 전체 데이터의 로그우도를 균일하게 근사할 수 있는 작은 가중치 부여된 데이터 부분집합(코어셋)을 구성할 수 있는가?
• RQ2 고정된 데이터셋과 데이터 생성 모델에 대한 기대값에 대해 코어셋의 크기와 근사 품질에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ3 코어셋 구성은 스트리밍 및 분산 데이터 환경에 대해 효율적으로 확장될 수 있는가?
• RQ4 실제로 원본 데이터셋 크기와 무관하게 코어셋 크기가 유지되는가?
• RQ5 코어셋을 사용한 사후 추론 품질은 정확도와 계산 비용 측면에서 전체 데이터 추론과 비교해 볼 때 어떻게 되는가?

주요 결과

• 코어셋 크기는 실증적으로 원본 데이터셋 크기와 무관하게 유지되며, 최대 100만 개의 관측치를 가진 데이터셋에서도 작게 유지된다.
• 코어셋 구성 시간은 코어셋에서 MCMC 추론을 수행하는 데 소요되는 시간에 비해 무시할 만큼 작으며, 뚜렷한 계산 절감 효과를 제공한다.
• 이론적 분석에 따르면, 코어셋은 높은 확률로 전체 데이터의 로그우도를 균일하게 근사하며, 이는 사후 근사 품질을 보장한다.
• 표준 MCMC 알고리즘을 코어셋에 적용하여 정확한 사후 추론을 달성하였으며, 전체 데이터 추론 결과와 유사한 성능을 보였다.
• 스트리밍 및 병렬 코어셋 구성이 효율적으로 지원되어 대규모 및 분산 데이터 워크로드에 적합하다.
• 민감도 기반 샘플링은 드문 그러나 영향력 있는 데이터 포인트를 포착하여 이상치 및 소수 클래스에 대한 강건성을 확보한다.