[論文レビュー] Fast Bayesian Inference with Batch Bayesian Quadrature via Kernel Recombination

Masaki Adachi, Satoshi Hayakawa+3 more|arXiv (Cornell University)|Jun 9, 2022

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、バッチ適応スパース四則積分（BASQ）を提案する。BASQは、カーネル再結合を用いることで、事後分布およびモデル証拠の効率的かつ高サンプル効率な推論を可能にする、高速で並列処理可能なベイズ四則積分手法である。線形化された重要度提案分布を用いてカーネルに基づく四則積分点を再重み付け・再結合することで、BASQは指数的収束率を達成し、リチウムイオン電池の分析を含む実世界のデータセットにおいて、バッチWSABIおよびネストドサブスティューションを上回る性能を発揮する。

ABSTRACT

Calculation of Bayesian posteriors and model evidences typically requires numerical integration. Bayesian quadrature (BQ), a surrogate-model-based approach to numerical integration, is capable of superb sample efficiency, but its lack of parallelisation has hindered its practical applications. In this work, we propose a parallelised (batch) BQ method, employing techniques from kernel quadrature, that possesses an empirically exponential convergence rate. Additionally, just as with Nested Sampling, our method permits simultaneous inference of both posteriors and model evidence. Samples from our BQ surrogate model are re-selected to give a sparse set of samples, via a kernel recombination algorithm, requiring negligible additional time to increase the batch size. Empirically, we find that our approach significantly outperforms the sampling efficiency of both state-of-the-art BQ techniques and Nested Sampling in various real-world datasets, including lithium-ion battery analytics.

研究の動機と目的

• ベイズ四則積分（BQ）における並列処理の欠如が、高いサンプル効率にもかかわらず実用的利用を制限しているという問題に対処すること。
• 繰り返し高コストな評価を避けるために、一度の計算で事後分布とモデル証拠の両方を同時に推論可能にする仕組みを実現すること。
• 計算コストの高いマルチスタート最適化に依存し、局所的ピークのクラスタリングを引き起こす既存のバッチBQ手法（例：バッチWSABI）の非効率性を是正すること。
• バッチサイズを増加させても最小限の計算コストで高い精度を維持できる、スケーラブルなスパースサンプリング戦略を開発すること。
• カーネル再結合とニストロームベースのテスト関数を用いて、ベイズ推論における数値積分で指数的収束率を達成すること。

提案手法

• 線形化された重要度提案分布 $ g(x) = (1-r)\pi(x) + rA(x) $ を構築するカーネル再結合フレームワーク（RCHQ）を提案。事前分布とGPの分散を融合することで、バッチ選択を効率的にガイドする。
• 提案分布 $ g(x) $ からの部分集合抽出を用いて、実効的かつ安定した四則積分点の選択を可能にする経験的測度を構築する。
• 部分集合抽出点からニストローム法を用いて有限のテスト関数を構築し、最悪誤差の最小化を実現可能な形に持つ。
• 最悪誤差を最小化する $ n $ 個のバッチ点を選択するため、単一の線形計画法（LP）ソルバー反復を用いる。
• 既存の計算を再利用可能なスパース再結合アルゴリズムを導入し、計算コストをほとんど増加させずにバッチサイズを動的に増加可能にする。
• 平方指数カーネルとガウス事前分布を用いるガウス過程の解析的取り扱いやすさを活用し、積分の平均および分散を正確に計算する。

実験結果

リサーチクエスチョン

• RQ1 カーネル再結合は、実用的な指数的収束率を達成できる並列ベイズ四則積分手法を可能にするか？
• RQ2 バッチBQにおけるバッチ点選択において、カーネル再結合は局所的ペナルティ法やマルチスタート最適化と比較してどのように優れるか？
• RQ3 一度の推論パイプラインで、モデル証拠と事後分布の両方を高い効率で推定可能か？
• RQ4 提案手法は、実世界の高次元データセットにおいて、最先端のBQおよびネストドサブスティューションをどの程度上回るか？
• RQ5 次元数の増加およびノイズのある尤度評価下において、カーネル再結合アプローチのスケーラビリティおよびロバスト性はどの程度か？

主な発見

• BASQは、数値積分において実験的に指数的収束率を達成し、ウォルク・タイムおよびサンプル効率の両面で、バッチWSABIおよびネストドサブスティューションを著しく上回った。
• カーネル再結合手法は、バッチWSABIにおける局所的ペナルティ法よりもスパarserで、より均等に分布したバッチ点を選択し、高分散ピーク付近のクラスタリングを回避することで、統合誤差を低減した。
• スパース再結合アルゴリズムにより、既存の計算を再利用できるため、計算コストをほとんど増加させずにバッチサイズを動的に増加可能である。
• リチウムイオン電池の分析データにおいて、BASQは最先端のBQおよびネストドサブスティューションを上回る優れた性能を示し、収束が速く、誤差も低かった。
• 線形化された重要度提案分布の使用により、初期段階の不確実性推定への依存が軽減され、バッチ選択におけるロバスト性と安定性が向上した。