[論文レビュー] An Improved Bayesian Framework for Quadrature of Constrained Integrands.

Henry Chai, Roman Garnett|arXiv (Cornell University)|Feb 13, 2018

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、非負で制約された被積分関数の不変積分を推定するための改善されたベイジアン・クアドラチャフレームワークを提案する。非負性制約を満たすために被積分関数に対数変換を適用し、元の被積分関数空間におけるハイパーパrameter最適化を導入することで、合成データおよび実世界のデータの両方で、先行手法よりも高い精度とより速い収束を達成した。

ABSTRACT

Quadrature is the problem of estimating intractable integrals, a problem that arises in many Bayesian machine learning settings. We present an improved Bayesian framework for estimating intractable integrals of specific kinds of constrained integrands. We derive the necessary approximation scheme for a specific and especially useful instantiation of this framework: the use of a log transformation to model non-negative integrands. We also propose a novel method for optimizing the hyperparameters associated with this framework; we optimize the hyperparameters in the original space of the integrand as opposed to in the transformed space, resulting in a model that better explains the actual data. Experiments on both synthetic and real-world data demonstrate that the proposed framework achieves more-accurate estimates using less wall-clock time than previously preposed Bayesian quadrature procedures for non-negative integrands.

研究の動機と目的

• ベイジアン機械学習における不変積分の推定という課題に取り組むこと、特に被積分関数が非負であることが制約されている場合を想定する。
• 非負性を自然に強制できる対数変換を組み込むことで、既存のベイジアン・クアドラチャ手法の性能を向上させること。
• 変換された空間ではなく、元の被積分関数空間で動作する、新たなハイパーパrameter最適化戦略を開発すること。
• 制約付き被積分関数のための統合推定において、精度と計算効率の両方を向上させること。

提案手法

• 非負性を保証するために被積分関数に対数変換を適用し、より安定的かつ正確な事後分布推論を可能にする。
• 変換された空間内でガウス過程事前分布を用いたベイジアン・クアドラチャアプローチを定式化する。
• ハイパーパrameterを元の被積分関数空間で直接最適化することで、解釈可能性を保ちつつ観測データへのモデル適合を向上させる。
• 事後期待値を効率的に計算するために、対数変換モデルから導出された特定の近似スキームを用いる。
• 元のドメインにおける実際のデータ分布とモデルの予測を一致させる新しい最適化目的関数を統合する。
• 非負の被積分関数を想定したフレームワークを具体化し、合成的および実世界のベンチマークを用いて検証する。

実験結果

リサーチクエスチョン

• RQ1 非負に制約された被積分関数に対して、どのようにベイジアン・クアドラチャを改善できるか？
• RQ2 元の被積分関数空間でハイパーパrameterを最適化することは、変換された空間で最適化するのと比べて、より良いモデル性能をもたらすか？
• RQ3 クアドラチャフレームワークに対数変換を適用することで、推定精度と収束速度が向上するか？
• RQ4 精度と計算効率の観点から、提案フレームワークは既存のベイジアン・クアドラチャ手法と比べてどのように差がつくか？
• RQ5 本フレームワークは、多様な合成的および実世界の統合問題においても高い性能を維持できるか？

主な発見

• 提案フレームワークは、非負の被積分関数に対して、先行するベイジアン・クアドラチャ手法と比べて顕著に高い推定精度を達成した。
• 収束までのウォールクロック・タイムを短縮し、計算効率の向上を示した。
• 元の空間でハイパーパrameterを最適化することで、観測データとの整合性が向上し、モデルの説明可能性も向上した。
• 対数変換は非負性を効果的に強制するとともに、安定的かつ正確な事後分布推論を可能にした。
• 合成的および実世界のデータにおける実験により、複数のテストケースで一貫した性能向上が確認された。
• 特に高次元または複雑な被積分関数の状況において、精度と速度の両面で既存手法を上回った。