[論文レビュー] Coresets for Scalable Bayesian Logistic Regression

Jonathan H. Huggins, Trevor Campbell+1 more|arXiv (Cornell University)|May 20, 2016

Gaussian Processes and Bayesian Inference参考文献 25被引用数 78

ひとこと要約

本稿では、スケーラブルなベイジアンロジスティック回帰のためのコアセットベースのアプローチを提案する。この手法は、全データセットの尤度を近似する小さな重み付きサブセットを構築する。データの重複を活用し、コアセットのサイズと近似品質に関する理論的保証を提供することで、最小限の計算オーヘッドで効率的なMCMC推論を可能にし、実際にはデータセットサイズに依存しないコアセットサイズを達成する。

ABSTRACT

The use of Bayesian methods in large-scale data settings is attractive because of the rich hierarchical models, uncertainty quantification, and prior specification they provide. Standard Bayesian inference algorithms are computationally expensive, however, making their direct application to large datasets difficult or infeasible. Recent work on scaling Bayesian inference has focused on modifying the underlying algorithms to, for example, use only a random data subsample at each iteration. We leverage the insight that data is often redundant to instead obtain a weighted subset of the data (called a coreset) that is much smaller than the original dataset. We can then use this small coreset in any number of existing posterior inference algorithms without modification. In this paper, we develop an efficient coreset construction algorithm for Bayesian logistic regression models. We provide theoretical guarantees on the size and approximation quality of the coreset -- both for fixed, known datasets, and in expectation for a wide class of data generative models. Crucially, the proposed approach also permits efficient construction of the coreset in both streaming and parallel settings, with minimal additional effort. We demonstrate the efficacy of our approach on a number of synthetic and real-world datasets, and find that, in practice, the size of the coreset is independent of the original dataset size. Furthermore, constructing the coreset takes a negligible amount of time compared to that required to run MCMC on it.

研究の動機と目的

• 大規模データセットにおける標準的なベイジアン推論の計算上的非現実性に対処するために、推論の前にデータサイズを削減すること。
• ベイジアンロジスティック回帰における事後分布近似品質を維持するコアセット構築手法を開発すること。
• 固定データセットおよび生成モデルの下での期待値について、コアセットサイズと近似誤差に関する理論的保証を提供すること。
• 既存の推論アルゴリズムを変更せずに、ストリーミングおよび並列環境でも効率的なコアセット構築を可能にすること。

提案手法

• 本手法は、中心の計算を高速化するために、サブサンプルされたデータセット上でk-meansクラスタリングを用いて代表的なデータポイントを特定することでコアセットを構築する。
• 各データポイントの感度スコアを計算し、影響力の高いポイントを優先する。調整済みのクラスタ中心を用いることで、正確性を確保する。
• 感度スコアに比例する確率でデータポイントを再サンプリングすることでコアセットを形成し、全データの対数尤度を一様に近似する。
• 一般のデータモデルの下で、集中不等式と漸近的分析を用いて、コアセットサイズと近似誤差を理論的に限定する。
• 最小限のオーバーヘッドでストリーミングおよび並列環境におけるコアセット構築をサポートし、スケーラブルな前処理を実現する。
• 最終的なコアセットは、MCMCなどの標準的な事後分布推論アルゴリズムの入力として使用可能であり、アルゴリズムの変更なしに利用可能である。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンロジスティック回帰において、全データの対数尤度を一様に近似する小さな重み付きサブセット（コアセット）を構築できるか？
• RQ2 固定データセットおよびデータ生成モデルの下での期待値について、コアセットのサイズと近似品質に関する理論的保証を提供できるか？
• RQ3 コアセット構築をストリーミングおよび分散データ環境に効率的にスケーリングできるか？
• RQ4 実際には、元のデータセットサイズに依存しないコアセットサイズが維持されるか？
• RQ5 コアセットを用いた事後分布推論の品質は、全データ推論と比較して、精度と計算コストの面でどの程度か？

主な発見

• コアセットサイズは実験的に元のデータセットサイズに依存せず、最大100万件の観測値を持つデータセットでさえも小さなまま維持される。
• コアセット構築時間は、コアセット上でMCMC推論に要する時間と比較して無視できるほど短く、顕著な計算コストの削減が可能である。
• 理論的分析により、高い確率でコアセットが全データの対数尤度を一様に近似することが示され、事後分布近似品質が保証される。
• 標準的なMCMCをコアセット上で用いることで、高精度な事後分布推論が達成され、全データ推論と同等の結果が得られる。
• ストリーミングおよび並列環境における効率的なコアセット構築をサポートしており、大規模および分散データワークロードに適している。
• 感度ベースのサンプリングにより、まれだが影響力の高いデータポイントを捉え、外れ値およびマイノリティクラスに対して耐性を示す。