[論文レビュー] Improving Quadrature for Constrained Integrands

Henry Chai, Roman Garnett|arXiv (Cornell University)|Feb 13, 2018

Gaussian Processes and Bayesian Inference被引用数 10

ひとこと要約

本稿では、非負または有界な関数を含む制約付き関数の積分のための、新たなベイジアン・クアドラチャフレームワークを提案する。対数変換や平方根変換などの変換を活用することで、精度と効率が向上する。従来の手法とは異なり、変換空間ではなく元の空間でハイパーパrameterを最適化することで、収束が速く、合成データおよび実世界のデータにおいて既存手法を上回る性能を発揮する。

ABSTRACT

We present an improved Bayesian framework for performing inference of affine transformations of constrained functions. We focus on quadrature with nonnegative functions, a common task in Bayesian inference. We consider constraints on the range of the function of interest, such as nonnegativity or boundedness. Although our framework is general, we derive explicit approximation schemes for these constraints, and argue for the use of a log transformation for functions with high dynamic range such as likelihood surfaces. We propose a novel method for optimizing hyperparameters in this framework: we optimize the marginal likelihood in the original space, as opposed to in the transformed space. The result is a model that better explains the actual data. Experiments on synthetic and real-world data demonstrate our framework achieves superior estimates using less wall-clock time than existing Bayesian quadrature procedures.

研究の動機と目的

• ベイジアン推論において一般的に見られる非負または有界な関数のような制約付き関数に対する、一般化されたベイジアンフレームワークの開発。
• 尤度関数の表面など、高い動的範囲を示す関数を効果的に扱えない既存のベイジアン・クアドラチャ手法の限界を解消すること。
• 変換空間ではなく元の関数空間でマージナル尤度を最大化することで、ハイパーパrameter学習を改善し、より良いモデルキャリブレーションを実現すること。
• 数値積分に高価な近似を必要としない、制約下での積分に対する閉形式近似の提供により、効率的かつ正確な計算を可能とすること。

提案手法

• 非負性などの制約を満たすために、被積分関数の変換版（例：対数または平方根）にガウス過程事前分布を適用する。
• 切断された多変量正規分布の性質を用いて、積分の事後モーメントの閉形式表現を導出する。これにより、期待値と分散の解析的計算が可能になる。
• 変換空間ではなく、元の空間における観測関数値のマージナル尤度を最大化する、新しいハイパーパrameter最適化手順を採用する。
• 非負関数で動的範囲が大きい場合には、分散の安定化と数値的条件の改善を図るため、対数変換が推奨される。
• ガウス過程事後分布における適切な変換と切断を用いることで、有界関数に対しても拡張可能である。
• 理論的導出では、多変量正規分布の性質と累積分布関数を用いて、切断正規分布のモーメントを計算する。

実験結果

リサーチクエスチョン

• RQ1 非負性を越えて、非負または有界な関数のような制約付き関数のための統一的ベイジアンフレームワークを構築可能か？
• RQ2 変換空間ではなく元の関数空間でハイパーパrameterを最適化することで、モデルの性能とキャリブレーションにどのような影響を与えるか？
• RQ3 尤度関数のような高い動的範囲を示す積分に、対数変換を用いることでどのような影響が生じるか？
• RQ4 さまざまな制約下で、積分の事後モーメントに対する閉形式近似を導出可能か？これにより、高価な数値積分を回避できるか？
• RQ5 既存のベイジアン・クアドラチャ手法およびモンテカルロ法と比較して、本手法の精度と計算効率はどのように異なるか？

主な発見

• 本手法は、尤度関数の表面など動的範囲が大きい被積分関数において、既存のベイジアン・クアドラチャ手法を上回る優れた推定精度を達成する。
• 元の空間でハイパーパrameterを最適化することで、実データをよりよく説明でき、変換空間で最適化を行う手法が示す望ましくない挙動を回避できる。
• 壁時計時間の短縮が顕著であり、精度を維持または向上させながら、モンテカルロ法およびベイジアン・モンテカルロ法を凌駆する。
• 対数変換の使用により、従来の手法（例：[9]）が対応できなかった極端な動的範囲を示す関数の効果的取り扱いが可能になる。
• 制約下での積分の事後モーメントに対する閉形式表現が導出され、数値近似を必要とせず、効率的かつ正確な計算が可能になる。
• 実世界データを用いた実験により、本手法がモデル証拠および予測分布のより正確で信頼性の高い推定を提供することが確認された。