[論文レビュー] Integrals over Gaussians under Linear Domain Constraints

Alexandra Gessner, Oindrila Kanjilal+1 more|arXiv (Cornell University)|Oct 21, 2019

Gaussian Processes and Bayesian Inference参考文献 54被引用数 9

ひとこと要約

本稿では、ベイズ最適化や統計的モデリングで一般的に見られる線形領域制約下での多次元ガウス密度の積分を、反復的でないサンプリング手法（lin-ess）と Holmes-Diaconis-Ross（hdr）アルゴリズムを組み合わせることで、高次元かつ極めて小さい確率質量領域においても、正確かつ効率的に計算する、新規のブラックボックスアルゴリズムを提示する。この手法により、極めて小さい確率質量や積分の微分を、高次元でも高精度に評価可能である。

ABSTRACT

Integrals of linearly constrained multivariate Gaussian densities are a frequent problem in machine learning and statistics, arising in tasks like generalized linear models and Bayesian optimization. Yet they are notoriously hard to compute, and to further complicate matters, the numerical values of such integrals may be very small. We present an efficient black-box algorithm that exploits geometry for the estimation of integrals over a small, truncated Gaussian volume, and to simulate therefrom. Our algorithm uses the Holmes-Diaconis-Ross (HDR) method combined with an analytic version of elliptical slice sampling (ESS). Adapted to the linear setting, ESS allows for rejection-free sampling, because intersections of ellipses and domain boundaries have closed-form solutions. The key idea of HDR is to decompose the integral into easier-to-compute conditional probabilities by using a sequence of nested domains. Remarkably, it allows for direct computation of the logarithm of the integral value and thus enables the computation of extremely small probability masses. We demonstrate the effectiveness of our tailored combination of HDR and ESS on high-dimensional integrals and on entropy search for Bayesian optimization.

研究の動機と目的

• 線形領域制約下での多次元ガウス分布の積分を計算するという長年の課題に取り組むこと。特に、確率質量が極めて小さい場合に有効であることを目指す。
• 反復的サンプリングの非効率性を回避しつつ、高次元空間における低確率領域でも効果を発揮するサンプリング手法の開発。
• 最適化や推論に不可欠な、平均および共分散パラメータに関する積分の勾配を正確に推定すること。
• 高精度な統合と制約付きガウス分布からの正確なサンプリングを同時にサポートする統一フレームワークの提供。
• 期待伝播（期待伝播には保証がない）や標準的なモンテカルロ法（レアイベントでは失敗）といった従来手法の限界を克服すること。

提案手法

• 楕円と線形領域境界の交点に閉形式解が存在することを活用し、楕円スライスサンプリング（ess）アルゴリズムを反復的でない変種（lin-ess）に変換する。
• Holmes-Diaconis-Ross（hdr）アルゴリズムを用いて、入れ子になった領域における条件付き確率の列に積分を分解し、数値的安定性と精度を向上させる。
• lin-essサンプラーをhdr内の内部プロポーザルメカニズムとして活用することで、一度のフレームワーク内でサンプリングと統合を両立させる。
• hdrを用いて積分の対数を直接計算することで、数値オーバーフロー/アンダーフローを回避し、極めて小さい確率質量（例：~10⁻⁶）の正確な評価を可能にする。
• lin-essおよびhdrの各コンponentsを逆誤差伝搬することで、平均および共分散に関する積分の勾配推定を可能にする。
• 初期有効サンプルの特定のための事前計算フェーズを導入し、次元数に比例して効率的にスケーリングされ、通常はメインのサンプリングコストに比べて無視できる。

実験結果

リサーチクエスチョン

• RQ1 楕円と超平面の幾何的性質を活用することで、線形制約付き多次元ガウス分布に対して反復的でないサンプリング手法を設計できるか？
• RQ2 このようなサンプラーとhdrアルゴリズムを効果的に組み合わせることで、確率質量が極めて小さい状況下においても、高次元ガウス積分を極めて高精度に計算できるか？
• RQ3 提案フレームワークは、高次元における数値的困難を克服し、モデルパラメータに関する積分の勾配を正確に推定できるか？
• RQ4 高次元かつ低確率領域において、lin-essの性能は反復的サンプリングや他のモンテカルロ手法と比較してどうなるか？
• RQ5 エントロピー探索のような実世界の問題、特に確率質量が無視できるほど小さいターゲット領域を有するベイズ最適化に、この手法を適用可能か？

主な発見

• lin-essアルゴリズムにより、確率質量が約1.6×10⁻⁴にまで低下しても、反復的でないサンプリングが可能であり、これは標準的な反復的サンプリングでは不可能である。
• hdr-lin-essの組み合わせにより、積分の対数を直接計算可能となり、数値オーバーフロー/アンダーフローを回避し、~10⁻⁶程度の極めて小さい確率質量の正確な評価が可能である。
• 5×10⁵個のサンプルを用いて、正規分布の平均および共分散行列に関する勾配を、2-ノルムの相対的標準偏差約10⁻²の精度で推定した。これは、従来不可能であったタスクである。
• ベイズ最適化の文脈において、最小値が確率<10⁻⁶の稀なイベント領域にあると条件付けられた事後分布から、効果的にサンプリングできた。
• この手法は並列処理に強く、高い数値的精度を維持しており、期待伝播より精度に優れるが、不偏性のため計算コストが高くなる。
• 制約付き領域内での初期有効サンプルの特定に、サブセットあたり約16サンプル程度で十分であり、メインのサンプリングコストに比べて初期フェーズのコストは無視できる。