[論文レビュー] Bayesian Quadrature for Multiple Related Integrals

Xiaoyue Xi, François‐Xavier Briol+1 more|arXiv (Cornell University)|Jan 12, 2018

Advanced Multi-Objective Optimization Algorithms被引用数 5

ひとこと要約

本稿は、複数の関連する関数を同時に統合するためのベイジアンクアドレーションの新規拡張を提案する。複数出力ガウス過程を用いて関数を共同でモデル化することで、被積分関数間での情報共有を実現し、数値的効率性と不確実性の定量化を向上させる。well-specifiedな状況では、事後分散の収束速度が $\mathcal{O}_P(N^{-3/4})$ に達し、多忠実度モデリングおよびグローバルイリュミネーション問題において顕著な性能向上を示す。

ABSTRACT

Bayesian probabilistic numerical methods are a set of tools providing posterior distributions on the output of numerical methods. The use of these methods is usually motivated by the fact that they can represent our uncertainty due to incomplete/finite information about the continuous mathematical problem being approximated. In this paper, we demonstrate that this paradigm can provide additional advantages, such as the possibility of transferring information between several numerical methods. This allows users to represent uncertainty in a more faithful manner and, as a by-product, provide increased numerical efficiency. We propose the first such numerical method by extending the well-known Bayesian quadrature algorithm to the case where we are interested in computing the integral of several related functions. We then prove convergence rates for the method in the well-specified and misspecified cases, and demonstrate its efficiency in the context of multi-fidelity models for complex engineering systems and a problem of global illumination in computer graphics.

研究の動機と目的

• 古典的ベイジアンクアドレーションが複数の関連する積分を同時に処理する能力に制限を抱える問題に対処すること。
• 複数の被積分関数間での情報共有を可能にする、有限標本性能を向上させる共同確率的数値手法を構築すること。
• 適切に指定されたおよび不適切に指定された事前分布の下で、複数積分の共同推論に対する理論的収束保証を提供すること。
• 多忠実度モデリングやコンピュータグラフィックスなどの実世界の応用において、本手法の実用的利点を実証すること。
• 複数出力統合における行列値カーネルと効率的なサンプリング戦略の可能性を調査すること。

提案手法

• 標準ベイジアンクアドレーションを拡張し、複数の被積分関数 $f_1, \ldots, f_D$ を分離可能カーネルを用いた複数出力ガウス過程事前分布で共同でモデル化する。
• ゼロ平均ガウス過程事前分布を用い、行列値共分散関数 $\bm{C}(\bm{x}, \bm{x}') = \bm{K} \otimes c(\bm{x}, \bm{x}')$ を導入する。ここで $\bm{K}$ は関数間相関を捉え、$c$ はスカラー値カーネルである。
• 設計点 $\bm{X}$ における関数評価を条件として、各積分 $\Pi[f_d]$ の事後分布を導出する。これにより、積分の多変量正規事後分布が得られる。
• カーネル行列 $\bm{C}(\bm{X}, \bm{X})$ と観測関数値 $f(\bm{X})$ を用いた閉形式式により、事後平均および事後分散を計算する。
• 低ランク近似と効率的な線形代数を用いて、$D$ や $N$ が大きい場合のスケーラビリティを確保する。
• 複数出力ガウス過程における関数間依存性をモデル化するため、LMC（線形コリジネーションモデル）カーネル構造を用いる。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンクアドレーションは、複数の関連する積分を共同で推定することで、数値的精度と不確実性の定量化を向上させることができるか？
• RQ2 分離可能カーネルを用いた複数出力設定において、各積分の事後分散の理論的収束速度はどのように確立できるか？
• RQ3 特に分離可能カーネルと LMC カーネルを用いた場合、カーネル構造の選択が手法の性能に与える影響は何か？
• RQ4 高次元かつ相関の強い統合問題において、独立したベイジアンクアドレーションやモンテカルロ法と比較して、本手法は著しい計算効率の向上を達成できるか？
• RQ5 実用的応用において、被積分関数間での情報共有が、事後分散と統合誤差に与える影響は何か？

主な発見

• 提案手法である複数出力ベイジアンクアドレーションは、分離可能カーネルを用いる場合、各積分について事後分散の収束速度が $\mathcal{O}_P(N^{-3/4})$ に達し、特定の状況ではスカラーBQを上回る。
• 出力数 $D$ を増やすことで統合誤差が顕著に低減され、グローバルイリュミネーション問題において、5出力BQは1出力BQよりも著しく低い誤差を示した。
• 情報共有のおかげで、複数出力設定では個々の積分の事後分散が小さくなり、エピステミック的不確実性が低減されていることが反映されている。
• 多忠実度モデリングにおいて、本手法は顕著な性能向上を示した。ここでは、相関のある複数のモデルを同時に統合している。
• コンピュータグラフィックス分野では、1ピクセルあたり数千の相関関係にある被積分関数を含むグローバルイリュミネーション問題において、収束が著しく速くなった。また、重みの事前計算の可能性も示された。
• LMC などの行列値カーネルの使用により、被積分関数間の相関を構造的にモデル化でき、追加計算コストを最小限に抑えつつ精度が向上した。