[論文レビュー] Automated Scalable Bayesian Inference via Hilbert Coresets

Trevor Campbell, Tamara Broderick|arXiv (Cornell University)|Oct 13, 2017

Gaussian Processes and Bayesian Inference参考文献 52被引用数 18

ひとこと要約

本稿では、対数尤度関数から導かれるヒルベルト空間ノルムに基づくデータ圧縮技術であるヒルベルトコアセットを導入する。この手法により、対数尤度関数の重み付き部分集合を構築することで、完全に自動的かつスケーラブルなベイズ推論が可能になる。ランダムな射影を用いることでコアセット構築を自動化し、理論的保証を伴う高品質な事後分布近似を達成し、多様なモデルとデータセットにおいて計算コストを顕著に削減する。

ABSTRACT

The automation of posterior inference in Bayesian data analysis has enabled experts and nonexperts alike to use more sophisticated models, engage in faster exploratory modeling and analysis, and ensure experimental reproducibility. However, standard automated posterior inference algorithms are not tractable at the scale of massive modern datasets, and modifications to make them so are typically model-specific, require expert tuning, and can break theoretical guarantees on inferential quality. Building on the Bayesian coresets framework, this work instead takes advantage of data redundancy to shrink the dataset itself as a preprocessing step, providing fully-automated, scalable Bayesian inference with theoretical guarantees. We begin with an intuitive reformulation of Bayesian coreset construction as sparse vector sum approximation, and demonstrate that its automation and performance-based shortcomings arise from the use of the supremum norm. To address these shortcomings we develop Hilbert coresets, i.e., Bayesian coresets constructed under a norm induced by an inner-product on the log-likelihood function space. We propose two Hilbert coreset construction algorithms---one based on importance sampling, and one based on the Frank-Wolfe algorithm---along with theoretical guarantees on approximation quality as a function of coreset size. Since the exact computation of the proposed inner-products is model-specific, we automate the construction with a random finite-dimensional projection of the log-likelihood functions. The resulting automated coreset construction algorithm is simple to implement, and experiments on a variety of models with real and synthetic datasets show that it provides high-quality posterior approximations and a significant reduction in the computational cost of inference.

研究の動機と目的

• 大規模データセットにおける自動ベイズ推論のスケーラビリティの限界を克服し、推論の品質を維持したままデータサイズを削減すること。
• 上界ノルムに依存する既存のコアセット手法の欠陊を克服し、性能が低く、自動化が困難である問題を解決すること。
• 理論的近似保証を維持する一般用途で使用可能な、モデルに依存しないコアセット構築フレームワークを開発すること。
• 熟練した専門家によるチューニングなしに完全に自動化されたコアセット構築を可能とし、広範なベイズモデルに適用可能にすること。
• 実データおよび合成データに対して、顕著な計算コストの削減と高品質な事後分布近似を実証すること。

提案手法

• ベイズコアセット構築を、対数尤度関数空間におけるヒルベルト空間内のスパースベクトル和近似問題に再定式化する。
• 対数尤度関数空間上の内積によって誘導されるノルムを用いたヒルベルトコアセットを導入し、近似品質を向上させるために上界ノルムを置き換える。
• 重要度サンプリングに基づくアルゴリズムとフランク＝ウォルフ法を用いた2つのコアセット構築アルゴリズムを提案し、両者とも理論的近似誤差バウンドを備える。
• 対数尤度関数のランダムな有限次元射影を用いて手法を自動化し、モデル固有の内積計算を回避する。
• 重み付きコアセット近似を用いて、任意の標準的な自動推論アルゴリズムにおいてフルデータセットを置き換え、スケーラブルな事後分布推論を実現する。
• 集中不等式を用いて、コアセットサイズの関数としてのコアセット近似誤差の確率的バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 モデル固有のチューニングなしに自動化されたベイズコアセット構築が、理論的近似保証を維持しながら可能か？
• RQ2 対数尤度関数にヒルベルト空間ノルムを上界ノルムの代わりに適用することで、コアセット近似品質が向上するか？
• RQ3 対数尤度関数のランダムな射影が、多様なベイズモデルにわたってスケーラブルかつ自動化されたコアセット構築を可能にするか？
• RQ4 ヒルベルトコアセット手法は、一様サブサンプリングおよび標準的なコアセットと比較して、事後分布近似の正確性と計算効率の面で優れているか？
• RQ5 提案されたヒルベルトコアセットフレームワークにおいて、コアセットサイズと近似誤差の理論的関係は何か？

主な発見

• ヒルベルトコアセット手法は、ロジスティック回帰、ポisson回帰、方向クラスタリングモデルにおいて、実データおよび合成データの両方で高品質な事後分布近似を達成する。
• フランク＝ウォルフに基づくヒルベルトコアセット構築は、すべての評価対象のモデルとデータセットで、一様ランダムサブサンプリングおよび一様コアセットを上回る性能を示す。
• ヒルベルト重要度サンプリングコアセット構築は、一様サブサンプリングおよび一様コアセットと同等またはそれ以上の性能を示し、一貫した事後分布近似品質の向上を実現する。
• 2-ノルムとフィッシャー情報ノルムは、重要度サンプリングおよびフランク＝ウォルフコアセット構築の両方で類似した性能を示し、ノルム選択の妥当性を裏付ける。
• 理論的バウンドにより、近似誤差がコアセットサイズの増加に伴い減少することが示され、集中不等式を用いた高確率バウンドが導出された。
• 推論の計算コストを桁違いに削減しながら推論品質を維持し、大規模データセットにおけるスケーラブルなベイズ推論を可能にする。