[论文解读] A supermartingale approach to Gaussian process based sequential design of experiments

Julien Bect, François Bachoc+1 more|Bern Open Repository and Information System (University of Bern)|Aug 3, 2016

Advanced Multi-Objective Optimization Algorithms被引用 5

一句话总结

本文提出了一种超级 martingale 框架，以建立基于高斯过程的序列实验设计的几乎必然一致性，特别针对逐步不确定性减少（SUR）策略。通过证明残差不确定性度量构成一个超级 martingale，作者推导出适用于全局优化、迹线集估计和可靠性分析的通用一致性结果——首次为针对迹线集的目标提供 SUR 策略的一致性证明，并为具有连续样本路径的期望改进提供更一般的证明。

ABSTRACT

Gaussian process (GP) models have become a well-established frameworkfor the adaptive design of costly experiments, and notably of computerexperiments. GP-based sequential designs have been found practicallyefficient for various objectives, such as global optimization(estimating the global maximum or maximizer(s) of a function),reliability analysis (estimating a probability of failure) or theestimation of level sets and excursion sets. In this paper, we studythe consistency of an important class of sequential designs, known asstepwise uncertainty reduction (SUR) strategies. Our approach relieson the key observation that the sequence of residual uncertaintymeasures, in SUR strategies, is generally a supermartingale withrespect to the filtration generated by the observations. Thisobservation enables us to establish generic consistency results for abroad class of SUR strategies. The consistency of several popularsequential design strategies is then obtained by means of this generalresult. Notably, we establish the consistency of two SUR strategiesproposed by Bect, Ginsbourger, Li, Picheny and Vazquez (Stat. Comp.,2012)---to the best of our knowledge, these are the first proofs ofconsistency for GP-based sequential design algorithms dedicated to theestimation of excursion sets and their measure. We also establish anew, more general proof of consistency for the expected improvementalgorithm for global optimization which, unlike previous results inthe literature, applies to any GP with continuous sample paths.

研究动机与目标

• 为一类广泛的基于高斯过程的序列设计策略建立通用的一致性结果。
• 解决现有流行 SUR 策略缺乏理论一致性证明的问题，特别是针对迹线集和测度估计。
• 通过去除对协方差函数的限制性假设，推广现有关于期望改进的一致性结果。
• 形式化序列设计中不确定性减少序列的超级 martingale 性质。
• 为分析自适应实验设计的收敛性提供统一的概率框架。

提出的方法

• 作者将 SUR 策略中残差不确定性度量的序列建模为相对于观测生成的滤子的超级 martingale。
• 利用超级 martingale 收敛定理，在较弱的正则性条件下证明不确定性度量几乎必然收敛至零。
• 该框架适用于任何可测且在序列观测下满足超级 martingale 性质的不确定性泛函。
• 该方法依赖可测选择定理，从最优点的随机闭集构造有效的采样策略。
• 关键技术工具包括条件分布的使用以及对采样准则的连续性假设，以确保最优设计点的存在性。
• 通过将其应用于四个典型问题验证该方法：全局优化、可靠性分析、水平集估计和迹线集估计。

实验结果

研究问题

• RQ1 在高斯过程模型下，能否在一般条件下建立针对迹线集估计的逐步不确定性减少（SUR）策略的一致性？
• RQ2 对于任意具有连续样本路径的高斯过程，期望改进算法是否几乎必然收敛？
• RQ3 是否存在通用条件，使得序列设计中的不确定性减少可导致残差不确定性的几乎必然收敛？
• RQ4 超级 martingale 性质能否用于统一不同实验设计目标下的一致性证明？
• RQ5 针对迹线集及其测度的目标，SUR 策略收敛的理论基础是什么？

主要发现

• 本文首次为基于高斯过程的序列设计策略在迹线集及其测度估计目标上建立了几乎必然一致性证明。
• 通过证明残差不确定性度量序列构成超级 martingale，推导出 SUR 策略的通用一致性结果。
• 证明了对于任意具有连续样本路径的高斯过程，期望改进算法均一致，且无需依赖无空球（NEB）性质。
• 该框架在最小假设下适用于广泛的目标，包括全局优化、可靠性分析和水平集估计。
• 超级 martingale 性质使得对不同序列设计范式收敛性的统一理论分析成为可能。
• 即使采样准则不连续，也可通过可测选择定理保证最优设计点的存在性。