[论文解读] Evaluating Gaussian Process Metamodels and Sequential Designs for Noisy Level Set Estimation

Xiong Lyu, Mickaël Binois+1 more|arXiv (Cornell University)|Jul 18, 2018

Gaussian Processes and Bayesian Inference参考文献 34被引用 10

一句话总结

该论文评估了高斯过程代理模型与序列设计策略在估计噪声水平集（即黑箱函数超过阈值的区域）中的表现。在重尾噪声和低信噪比条件下，比较了t-GP、学生t过程、分类GPs与标准GP模型，发现t-GP和tMSE设计在低维情况下优于其他方法，而ICU在高维或噪声分布误设情况下表现最佳。

ABSTRACT

We consider the problem of learning the level set for which a noisy black-box function exceeds a given threshold. To efficiently reconstruct the level set, we investigate Gaussian process (GP) metamodels. Our focus is on strongly stochastic samplers, in particular with heavy-tailed simulation noise and low signal-to-noise ratio. To guard against noise misspecification, we assess the performance of three variants: (i) GPs with Student-$t$ observations; (ii) Student-$t$ processes (TPs); and (iii) classification GPs modeling the sign of the response. In conjunction with these metamodels, we analyze several acquisition functions for guiding the sequential experimental designs, extending existing stepwise uncertainty reduction criteria to the stochastic contour-finding context. This also motivates our development of (approximate) updating formulas to efficiently compute such acquisition functions. Our schemes are benchmarked by using a variety of synthetic experiments in 1--6 dimensions. We also consider an application of level set estimation for determining the optimal exercise policy of Bermudan options in finance.

研究动机与目标

• 为解决在昂贵黑箱函数中常见的噪声输出（可能具有重尾分布）下估计水平集的挑战。
• 评估在噪声分布误设条件下，替代代理模型（特别是t-GP、学生t过程和分类GPs）的鲁棒性与性能。
• 比较用于在有限预算下高效采样的序列设计启发式方法（tMSE、MCU、cSUR、ICU）在轮廓查找问题中的表现。
• 在合成的1–6维问题和一个真实世界的百慕大期权定价应用中对这些方法进行基准测试。
• 基于维度、噪声结构和计算成本，为代理模型与设计选择提供实用建议。

提出的方法

• 使用三种变体的高斯过程（GP）代理模型：标准GP、t-GP（适用于重尾噪声）和分类GP（建模响应符号）。
• 引入学生t过程（TPs）作为非高斯替代方案，以处理异常值和噪声分布误设问题。
• 采用基于期望改进和不确定性减少的获取函数，并使用近似更新公式以提高效率。
• 应用tMSE（目标均方误差）和ICU（信息论准则）作为序列设计启发式方法，指导主动采样。
• 使用损失函数 L(f, f̂) = ∫𝕀(sign f̂(x) ≠ sign f(x)) dμ 衡量水平集估计中的分类误差。
• 在随机控制框架中使用逆向归纳法生成百慕大期权估值中时间价值 f(x;t) 的噪声样本。

实验结果

研究问题

• RQ1 在重尾噪声条件下，t-GP、TP和分类GP模型相较于标准GP在水平集估计精度方面表现如何？
• RQ2 在计算开销最小化前提下，tMSE、MCU、cSUR或ICU等序列设计启发式方法中，哪一种能实现最准确的水平集重建？
• RQ3 代理模型与设计方法的性能是否依赖于维度和信噪比（SNR）？
• RQ4 在低维设置下，更简单的启发式方法如tMSE能否达到与更复杂准则如ICU相当的性能？
• RQ5 在噪声固有且模拟成本高昂的真实应用场景（如百慕大期权定价）中，这些方法表现如何？

主要发现

• t-GP在所有情况下均持续优于标准GP，且在重尾噪声下表现更优或相当。
• tMSE设计启发式在低维问题中以极低计算成本实现高精度，优于该场景下更复杂的ICU准则。
• ICU在高维或噪声分布误设场景中表现最佳，尤其在低信噪比条件下。
• 分类GPs在低信噪比设置下有所增益，但其不确定性带过宽，表明置信度校准较差。
• t-GP和标准GP产生的可信区间比TP和分类GP更紧，表明其不确定性量化更优。
• 在3D百慕大最大收益看涨期权案例中，R=20且n*=100时，tMSE结合t-GP的收益为11.175（标准误0.020），接近表现最佳的ICU方法（11.178），体现出极高的效率。