[論文レビュー] Sparse Variational Inference: Bayesian Coresets from Scratch

Trevor Campbell, Boyan Beronov|arXiv (Cornell University)|Jun 7, 2019

Gaussian Processes and Bayesian Inference参考文献 59被引用数 4

ひとこと要約

本稿では、指数型分布族におけるスパarsity制約付き変分推論としてコアセット選択を定式化することにより、完全に自動化されたスパース変分推論フレームワークを提案する。この手法はコアセット事後分布のリーマン多様体上で勾配最適化を実行し、従来手法が固定された接平面近似に制限されるのとは異なり、著しく低いKLダイバージェンスで最先端の事後分布近似を達成する。

ABSTRACT

The proliferation of automated inference algorithms in Bayesian statistics has provided practitioners newfound access to fast, reproducible data analysis and powerful statistical models. Designing automated methods that are also both computationally scalable and theoretically sound, however, remains a significant challenge. Recent work on Bayesian coresets takes the approach of compressing the dataset before running a standard inference algorithm, providing both scalability and guarantees on posterior approximation error. But the automation of past coreset methods is limited because they depend on the availability of a reasonable coarse posterior approximation, which is difficult to specify in practice. In the present work we remove this requirement by formulating coreset construction as sparsity-constrained variational inference within an exponential family. This perspective leads to a novel construction via greedy optimization, and also provides a unifying information-geometric view of present and past methods. The proposed Riemannian coreset construction algorithm is fully automated, requiring no problem-specific inputs aside from the probabilistic model and dataset. In addition to being significantly easier to use than past methods, experiments demonstrate that past coreset constructions are fundamentally limited by the fixed coarse posterior approximation; in contrast, the proposed algorithm is able to continually improve the coreset, providing state-of-the-art Bayesian dataset summarization with orders-of-magnitude reduction in KL divergence to the exact posterior.

研究の動機と目的

• 既存のベイジアンコアセット手法における自動化の欠如、すなわちユーザーが事前定義した粗い事後分布近似に依存する問題に対処すること。
• モデルとデータ以外に問題固有の入力を必要としないコアセット構築を実現すること。
• 理論的裏付けがあり、スケーラブルで、事後分布近似の保証が得られるコアセット手法を開発すること。
• リーマン情報幾何的視点から、過去のコアセット手法を統一的かつ拡張的に扱うこと。
• コアセット多様体に沿った継続的改善が、固定接平面手法に比べて優れた事後分布近似をもたらすことを示すこと。

提案手法

• 指数型分布族内でのスパarsity制約付き変分推論としてコアセット構築を定式化し、KLダイバージェンスの勾配推定を容易にする。
• コアセット事後分布のリーマン多様体上で反復的にコアセットを改善するグリーディ最適化アルゴリズムを採用する。
• コアセット事後分布と真の事後分布の間のKLダイバージェンスの不偏勾配推定を用いて、選択をガイドする。
• 指数型分布族モデルにおいて、事後分布の分散と平均の閉形式表現を導出することで、正確な計算を可能にする。
• リーマン幾何学を用いて、過去のコアセット手法（例：ヒルバートコアセット）を単一の接空間内で動作するものとして統一的に解釈する一方で、本手法は多様体に沿って進化することを示す。
• グリーディ最適化における学習率スケジュール $\gamma_t = t^{-1}$ を導入し、反復的選択プロセスにおける収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが事前定義した粗い事後分布近似を必要とせずに、コアセット構築を完全に自動化できるか？
• RQ2 コアセット事後分布のリーマン多様体に沿って操作することは、固定接平面手法に比べてより優れた事後分布近似をもたらすか？
• RQ3 指数型分布族におけるスパース変分推論は、コアセット最適化のための不偏かつ取り扱いやすいKLダイバージェンス勾配推定を可能にするか？
• RQ4 本手法は、多様なモデルとデータセットにおいて、正確な事後分布とのKLダイバージェンスの観点から定量的にどの程度優れているか？
• RQ5 本手法の計算コストは、既存のコアセット構築手法と比較してどの程度か？

主な発見

• 提案されたリーマンコアセット構築アルゴリズムは、150以上のコアセットサイズにおいて、過去の手法と比較して桁違いに低いKLダイバージェンスを達成する。
• GIGAなどの過去の手法は、固定された接平面近似に根本的に制限されており、コアセットサイズが増加するにつれて事後分布近似の質が制限される。
• 現実的とされる粗い事後分布を採用しても、GIGAなどの過去の手法は一様サブサンプリングよりも劣る性能を示し、入力の品質に極めて敏感であることが明らかになった。
• 本手法は、$\hat{\pi} \approx \pi_1$ という現実的でない仮定を必要とせず、GIGA（最適）をKLダイバージェンス低減の観点で上回る。
• 本手法は完全に自動化されており、確率的モデルとデータ以外に問題固有のチューニングを一切必要としない。
• 最適事後分布が入手不可能な状況において、反復的勾配更新のため、ヒルバートコアセット構築より遅いが、SparseVIは、合理的なコアセットサイズにおいてKLダイバージェンスを著しく低減できる唯一の実用的手段である。