[论文解读] Bayesian quadrature and energy minimization for space-filling design

Luc Pronzato, Anatoly Zhigljavsky|arXiv (Cornell University)|Aug 31, 2018

Probabilistic and Robust Engineering Design参考文献 18被引用 3

一句话总结

本文通过证明积分严格正定核诱导严格凸能量泛函，建立了贝叶斯求积、最优实验设计与空间填充设计中能量最小化之间的理论联系，揭示了差异性最小化与最佳线性无偏估计（BLUE）构造之间的等价性。研究表明，贝叶斯积分中后验方差的最小化——等价于核差异性最小化——为空间填充设计提供了一种高效且计算上可行的替代方案，可替代IMSPE最小化。

ABSTRACT

A standard objective in computer experiments is to approximate the behaviour of an unknown function on a compact domain from a few evaluations inside the domain. When little is known about the function, space-filling design is advisable: typically, points of evaluation spread out across the available space are obtained by minimizing a geometrical (for instance, covering radius) or a discrepancy criterion measuring distance to uniformity. The paper investigates connections between design for integration (quadrature design), construction of the (continuous) BLUE for the location model, space-filling design, and minimization of energy (kernel discrepancy) for signed measures. Integrally strictly positive definite kernels define strictly convex energy functionals, with an equivalence between the notions of potential and directional derivative, showing the strong relation between discrepancy minimization and more traditional design of optimal experiments. In particular, kernel herding algorithms, which are special instances of vertex-direction methods used in optimal design, can be applied to the construction of point sequences with suitable space-filling properties.

研究动机与目标

• 基于基于核的能量泛函，统一空间填充设计、贝叶斯求积与最优实验设计的理论框架。
• 证明贝叶斯积分中后验方差的最小化等价于核差异性和能量泛函的最小化，为替代IMSPE最小化提供实用方案。
• 证明核聚集算法（作为顶点方向法的特例）可生成高质量的空间填充点序列。
• 建立位置模型中连续BLUE构造与积分最优设计之间的理论等价性。
• 为昂贵仿真推断提供一种有原则且计算高效的点集设计方法，具备优异的空间填充特性。

提出的方法

• 使用积分严格正定核定义严格凸能量泛函，关联势能与方向导数。
• 证明贝叶斯求积中的后验方差等于总质量为1的符号测度下平方核差异的最小值。
• 建立贝叶斯积分与在修正相关结构下连续最佳线性无偏估计（BLUE）构造之间的等价性。
• 应用核聚集算法——源自最优设计中顶点方向法——生成具有空间填充特性的序列。
• 利用Karhunen-Loève展开将高斯过程模型重述为贝叶斯线性模型，将后验方差最小化与c-最优设计关联。
• 采用近似设计理论与顶点交换算法计算最优设计测度，进而提取为精确设计。

实验结果

研究问题

• RQ1 贝叶斯求积、能量最小化与空间填充设计如何通过基于核的泛函相互关联？
• RQ2 贝叶斯积分中后验方差的最小化能否作为空间填充设计中替代IMSPE最小化的实用方案？
• RQ3 核差异性最小化与相关误差下位置模型中连续BLUE构造之间存在何种关系？
• RQ4 核聚集算法与最优设计中的顶点方向法有何关联？它们诱导出何种空间填充特性？
• RQ5 高斯过程模型的Karhunen-Loève展开在多大程度上可将贝叶斯积分问题约化为c-最优设计问题？

主要发现

• 积分严格正定核定义了严格凸能量泛函，势能与方向导数之间存在等价性，揭示了差异性与最优设计之间的深层联系。
• 贝叶斯求积中的后验方差在数学上等价于总质量为1的符号测度下平方核差异的最小值。
• 贝叶斯积分中后验方差的最小化等价于对简化核的能量泛函最小化，为替代IMSPE最小化提供了计算上可行的方案。
• 核聚集算法作为顶点方向法的特例，可生成具有强空间填充特性的点序列，且可作为即用型设计使用。
• 可通过凸优化与顶点交换算法计算最小化{M_B,m⁻¹(ξ)}₁,₁的最优设计测度ξ*，其支撑点适合用于精确设计的提取。
• 在张量积核情况下，可通过一维积分近似特征函数与特征值，从而高效构造最优设计并估计Sobol’指数。