[論文レビュー] Data Analysis Recipes: Products of multivariate Gaussians in Bayesian inferences

David W. Hogg, Adrian M. Price-Whelan+1 more|arXiv (Cornell University)|May 28, 2020

Particle physics theoretical and experimental studies参考文献 9被引用数 5

ひとこと要約

本稿では、尤度関数と事前分布が両方ともパラメータに対して線形な平均依存性を示す多変量ガウス分布である場合の、ベイズ推論における線形パラメータの周辺化の閉形式解析的解を提示する。2つのガウス分布の積が再びガウス分布であるという性質を活用することで、周辺化された証拠と事後分布に分割された関数形に再構成され、天文学や物理学で一般的に見られる線形・ガウス型モデルにおける高速かつ高精度な推論を可能にする。

ABSTRACT

A product of two Gaussians (or normal distributions) is another Gaussian. That's a valuable and useful fact! Here we use it to derive a refactoring of a common product of multivariate Gaussians: The product of a Gaussian likelihood times a Gaussian prior, where some or all of those parameters enter the likelihood only in the mean and only linearly. That is, a linear, Gaussian, Bayesian model. This product of a likelihood times a prior pdf can be refactored into a product of a marginalized likelihood (or a Bayesian evidence) times a posterior pdf, where (in this case) both of these are also Gaussian. The means and variance tensors of the refactored Gaussians are straightforward to obtain as closed-form expressions; here we deliver these expressions, with discussion. The closed-form expressions can be used to speed up and improve the precision of inferences that contain linear parameters with Gaussian priors. We connect these methods to inferences that arise frequently in physics and astronomy. If all you want is the answer, the question is posed and answered at the beginning of Section 3. We show two toy examples, in the form of worked exercises, in Section 4. The solutions, discussion, and exercises in this Note are aimed at someone who is already familiar with the basic ideas of Bayesian inference and probability.

研究の動機と目的

• 線形・ガウス型ベイズモデルにおける線形パラメータの周辺化の閉形式解を導出すること。
• 線形パラメータとガウス事前分布を含むベイズ推論における計算効率と数値精度の向上。
• 天文学およびデータサイエンス分野の実世界問題に適用可能な実用的で解析的に取り扱いやすい手法を提供すること。
• 尤度関数と事前分布がパラメータに関して線形かつ共通のガウス分布である場合、数値積分を用いずに周辺化が達成可能であることを示すこと。
• 高次元パラメータ空間における推論ワークフローを支援するため、解析的因数分解によって計算負荷を低減すること。

提案手法

• 2つの多変量ガウス分布の積が再びガウス分布であるという数学的性質を活用する。
• 尤度関数がデータに関してガウス分布であり、その平均がパラメータに対して線形（設計行列 M を介して）であること、かつ事前分布がパラメータに関してガウス分布であり、平均 μ と共分散 Λ を持つことと仮定する。
• ベイズの定理を適用し、周辺化された証拠と事後分布の積に再構成された関数形に分解する。両者とも解析的に取り扱えるガウス分布である。
• 周辺化された証拠および事後分布の平均と共分散の閉形式表現を導出する。
• ガウス確率密度関数における座標に依存しない行列式および二次形式の表現を用い、明示的な次元依存性を回避する。
• 線形回帰と径速度モデリングの2つの具体例を通じて手法の妥当性を検証し、計算速度の向上と数値的安定性の向上を示す。

実験結果

リサーチクエスチョン

• RQ1 線形・ガウス型ベイズモデルにおける線形パラメータの周辺化は、数値積分を用いずに実現可能か？
• RQ2 尤度関数と事前分布が両方とも多変量ガウス分布である場合、周辺化された証拠および事後分布の平均と共分散の閉形式表現は何か？
• RQ3 標準的なMCMCや数値積分法と比較して、この解析的手法は計算効率と数値精度の点でどのように向上をもたらすか？
• RQ4 どのような天文学的文脈で、この手法が最も顕著な性能向上をもたらすか？
• RQ5 この手法は、非線形パラメータにおけるハイパーパラメータや階層的構造を持つモデルへ一般化可能か？

主な発見

• パラメータに対して線形な平均依存性を示す多変量ガウス尤度関数と多変量ガウス事前分布の積は、周辺化された証拠と事後分布に解析的に分解可能な関数形に再構成され、両者とも多変量ガウス分布である。
• 周辺化された証拠および事後分布の平均と共分散は、閉形式で導出可能であり、積分やサンプリングを経ずに直接計算可能である。
• 特に高次元の設定において、線形パラメータとガウス事前分布を含む推論タスクにおいて、計算速度と数値精度の両面で顕著な向上が達成される。
• 線形回帰問題と二重星系の径速度モデリングという2つの実用的応用例を通じて、手法の有効性が検証され、推論の高速化と数値的不安定性の回避が確認された。
• 導出された表現は次元に依存しない。ガウス確率密度関数の座標に依存しない表現を用いることで、データやパラメータの次元に明示的な依存性を避けることができる。
• ノイズ線形パラメータの周辺化と非線形ハイパーパラメータの推論を分離することで、階層的推論を効率的に行える。