[論文レビュー] Bayesian Coreset Construction via Greedy Iterative Geodesic Ascent

Trevor Campbell, Tamara Broderick|arXiv (Cornell University)|Feb 5, 2018

Gaussian Processes and Bayesian Inference参考文献 26被引用数 17

ひとこと要約

本稿では、事後分布の近似誤差を最小化するようにコアセットの対数尤度を最適にスケーリングする、新しいベイジアンコアセット構築アルゴリズムであるGreedy Iterative Geodesic Ascent（GIGA）を提案する。対数尤度ベクトルの多様体上での測地的勾配上昇法を活用することで、GIGAはコアセットサイズの増加に伴い誤差が幾何的減少を示し、従来手法と比較して事後分布の不確実性近似誤差を桁違いに低減する一方で、高速な計算を維持する。

ABSTRACT

Coherent uncertainty quantification is a key strength of Bayesian methods. But modern algorithms for approximate Bayesian posterior inference often sacrifice accurate posterior uncertainty estimation in the pursuit of scalability. This work shows that previous Bayesian coreset construction algorithms---which build a small, weighted subset of the data that approximates the full dataset---are no exception. We demonstrate that these algorithms scale the coreset log-likelihood suboptimally, resulting in underestimated posterior uncertainty. To address this shortcoming, we develop greedy iterative geodesic ascent (GIGA), a novel algorithm for Bayesian coreset construction that scales the coreset log-likelihood optimally. GIGA provides geometric decay in posterior approximation error as a function of coreset size, and maintains the fast running time of its predecessors. The paper concludes with validation of GIGA on both synthetic and real datasets, demonstrating that it reduces posterior approximation error by orders of magnitude compared with previous coreset constructions.

研究の動機と目的

• 既存のベイジアンコアセット手法におけるコアセット対数尤度の非最適スケーリングが、事後分散の過小評価を引き起こすという問題に取り組む。
• 事後分布近似誤差に関する理論的保証を維持しつつ、効率的にスケーリングできるコアセット構築アルゴリズムを開発すること。
• コアセットサイズの関数として、事後分布近似誤差が幾何的（指数的）に減少するようにすることにより、あらゆるモデルにおいて一様に有界な相対誤差を確保すること。
• 合成的および実世界のベイジアン推論タスクにおいて、従来のコアセット構築手法を上回る性能を示す手法を提供すること。

提案手法

• GIGAは、対数尤度関数の空間においでの基数制約付きベクトル近似問題としてコアセット構築を定式化する。
• 全データの対数尤度ベクトルからの測地的距離を最大化するように、反復的にデータ点を選択し、重みを更新するためのグリーディな反復的測地的上昇法を用いる。
• アルゴリズムは対数尤度ベクトルの多様体上で動作し、リーマン幾何学フレームワーク下で、全データ尤度と最適に整合するように保証される。
• 各ステップで、単位球面上の制約付き最適化により最適な重み更新を計算し、尤度空間の幾何的構造を保持する。
• 完全なヘッシアン行列の計算を避けることで計算効率を維持し、代わりに局所的な測地的近似に依存する。
• コアセットの対数尤度が全データの対数尤度と最適にスケーリングされることを保証し、人工的なデータの増幅を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 既存のベイジアンコアセット手法は、対数尤度の非最適スケーリングのため、系統的に事後分散を過小評価していると示せるか？
• RQ2 事後分布近似誤差が保証的に改善されるような幾何的フレームワークを備えた最適なコアセット構築が可能か？
• RQ3 尤度多様体上でのグリーディなアルゴリズムが、コアセットサイズの増加に伴い、事後分布近似誤差を指数的に減少させられるか？
• RQ4 最適な対数尤度スケーリングが、多様な統計的モデルにわたって一様に有界な相対誤差をもたらすか？
• RQ5 GIGAは、事後分布の精度と計算コストの両面で、従来のコアセット手法とどのように比較されるか？

主な発見

• GIGAは、合成データおよび実データの両方において、従来のコアセット構築手法と比較して、事後分布近似誤差を桁違いに低減する。
• 定理3.1および3.2で示されるように、コアセットサイズの関数として、GIGAは事後分布近似誤差が幾何的（指数的）に減少することを達成する。
• 従来手法とは異なり、GIGAは、コアセットサイズが小さい極限においても、すべてのモデルで一様に有界な相対誤差を維持する。
• GIGAの最適な対数尤度スケーリングにより、人工的なデータの増幅が防止され、より正確な不確実性評価が実現される。
• 回帰モデルおよび合成的ベクトル近似問題における実証的検証により、GIGAが事後分散を効果的に保持していることが確認される。
• GIGAは、最先端のコアセットアルゴリズムと同等の計算複雑度を維持しながら、著しく優れた事後分布の精度を達成する。