[論文レビュー] Bayesian quadrature and energy minimization for space-filling design

Luc Pronzato, Anatoly Zhigljavsky|arXiv (Cornell University)|Aug 31, 2018

Probabilistic and Robust Engineering Design参考文献 18被引用数 3

ひとこと要約

本稿は、積分的に厳密に正定値カーネルが厳密に凸なエネルギー汎関数を定義することを示し、分散最小化とBLUE構築の等価性を可能にすることで、ベイズ的台形積分、最適実験設計、空間均等設計の理論的関係を確立する。また、後方分散の最小化（カーネル分散最小化に同等）が、空間均等設計におけるIMSPE最小化の計算的に取り扱いやすい代替手段であることを示している。

ABSTRACT

A standard objective in computer experiments is to approximate the behaviour of an unknown function on a compact domain from a few evaluations inside the domain. When little is known about the function, space-filling design is advisable: typically, points of evaluation spread out across the available space are obtained by minimizing a geometrical (for instance, covering radius) or a discrepancy criterion measuring distance to uniformity. The paper investigates connections between design for integration (quadrature design), construction of the (continuous) BLUE for the location model, space-filling design, and minimization of energy (kernel discrepancy) for signed measures. Integrally strictly positive definite kernels define strictly convex energy functionals, with an equivalence between the notions of potential and directional derivative, showing the strong relation between discrepancy minimization and more traditional design of optimal experiments. In particular, kernel herding algorithms, which are special instances of vertex-direction methods used in optimal design, can be applied to the construction of point sequences with suitable space-filling properties.

研究の動機と目的

• カーネルに基づくエネルギー汎関数を基盤として、空間均等設計、ベイズ的台形積分、最適実験設計を統一的な枠組みで統合すること。
• ベイズ的統合における後方分散の最小化が、カーネル分散とエネルギー汎関数の最小化に同等であることを示し、IMSPE最小化の実用的代替手段を提供すること。
• 頂点方向法の特殊ケースであるカーネルハーディングアルゴリズムが、高品質な空間均等点列を生成できることを示すこと。
• 位置モデルにおける連続的BLUEの構築と積分のための最適設計との理論的等価性を確立すること。
• 高価なシミュレーションに基づく推論に適した強力な空間均等性を有する点集合を設計する、原理的かつ計算的に効率的なアプローチを提供すること。

提案手法

• 積分的に厳密に正定値カーネルを用いて、厳密に凸なエネルギー汎関数を定義し、ポテンシャルと方向微分の関係を確立する。
• ベイズ的台形積分における後方分散が、総質量が1の符号付き測度に対する二乗カーネル分散の最小値に等しいことを示す。
• 修正された相関構造の下で、ベイズ的統合と連続的最良線形不偏推定量（BLUE）の構築が等価であることを確立する。
• 最適設計における頂点方向法から導かれるカーネルハーディングアルゴリズムを用いて、空間均等性を有する点列を生成する。
• カルフーネ＝ローブ展開を用いてガウス過程モデルをベイズ的線形モデルに再定式化し、後方分散最小化をc最適設計に結びつける。
• 近似設計理論と頂点交換アルゴリズムを用いて最適設計測度を計算し、それを正確な設計への抽出に用いる。

実験結果

リサーチクエスチョン

• RQ1 カーネルに基づく汎関数を通じて、ベイズ的台形積分、エネルギー最小化、空間均等設計はどのように関連しているか？
• RQ2 ベイズ的統合における後方分散の最小化は、空間均等設計におけるIMSPE最小化の実用的代替手段として機能できるか？
• RQ3 相関誤差を伴う位置モデルにおける連続的BLUEの構築とカーネル分散最小化の関係は何か？
• RQ4 カーネルハーディングアルゴリズムは最適設計における頂点方向法とどのように関係し、どのような空間均等性を誘導するか？
• RQ5 ガウス過程モデルのカルフーネ＝ローブ展開を用いて、ベイズ的統合をc最適設計問題に還元できる程度はどの程度か？

主な発見

• 積分的に厳密に正定値カーネルは、厳密に凸なエネルギー汎関数を定義し、ポテンシャルと方向微分の間の等価性を示し、分散と最適設計の深い関係を明らかにする。
• ベイズ的台形積分における後方分散は、総質量が1の符号付き測度に対する二乗カーネル分散の最小値に数学的に等しい。
• ベイズ的統合における後方分散の最小化は、縮小されたカーネルに対するエネルギー汎関数の最小化に同等であり、IMSPE最小化の計算的に取り扱いやすい代替手段を提供する。
• カーネルハーディングアルゴリズムは頂点方向法の特殊ケースとして、強力な空間均等性を有する点列を生成でき、いつでも利用可能な設計として使用できる。
• {M_B,m⁻¹(ξ)}₁,₁ を最小化する最適設計測度 ξ* は凸最適化と頂点交換アルゴリズムを用いて計算可能であり、正確な設計抽出に適したサポート点を有する。
• テンソル積カーネルの場合、固有関数と固有値は1次元の台形積分を用いて近似可能であり、最適設計とソボルインデックス推定の効率的数値構築が可能になる。