[论文解读] A representation theorem for stochastic processes with separable covariance functions, and its implications for emulation

J Rougier|arXiv (Cornell University)|Feb 18, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 28被引用 11

一句话总结

本文建立了一个表示定理，表明任何具有连续可分协方差函数的随机过程均可表示为各输入维度上不相关随机变量与连续函数乘积的加权和。其核心贡献在于证明此类过程在二阶意义下等价于不相关过程的乘积，从而通过揭示其强烈的结构约束，从根本上挑战了在计算机模型模拟中常规使用可分协方差函数的做法。

ABSTRACT

Many applications require stochastic processes specified on two- or higher-dimensional domains; spatial or spatial-temporal modelling, for example. In these applications it is attractive, for conceptual simplicity and computational tractability, to propose a covariance function that is separable; e.g., the product of a covariance function in space and one in time. This paper presents a representation theorem for such a proposal, and shows that all processes with continuous separable covariance functions are second-order identical to the product of second-order uncorrelated processes. It discusses the implications of separable or nearly separable prior covariances for the statistical emulation of complicated functions such as computer codes, and critically reexamines the conventional wisdom concerning emulator structure, and size of design.

研究动机与目标

• 阐明在多维域上使用可分协方差函数对随机过程的理论影响。
• 研究可分协方差函数是否对潜在随机过程施加了基本的结构约束。
• 评估在计算机实验中整个模拟器均可基于可分协方差函数构建的常规观念的有效性与局限性。
• 通过表示定理，提供具有可分协方差函数的过程的二阶表征。
• 考察可分性对实验设计与模拟器性能的影响，尤其是在高维输入空间中的表现。

提出的方法

• 推导出一个表示定理，指出具有连续可分协方差函数的中心化随机过程可表示为各维度上不相关随机变量与连续基函数乘积的和。
• 引入k阶不相关族的概念，以形式化反向结论：具有可分协方差函数的过程在二阶意义下可等价于不相关过程的乘积。
• 利用在可分性下协方差矩阵的Kronecker积结构，简化基于网格观测的计算与分析。
• 将表示定理应用于分析计算机模型模拟的含义，尤其关注先验方差结构与实验设计的影响。
• 证明：使用模拟器运行更新可分模拟器时，后验协方差函数的可分性被破坏，但先验约束仍可能在输入空间边界影响性能。
• 批判性地评估设计规模的常规‘n = 10p’规则，表明可分先验可能导致在高维角落区域出现较差的外推性能。

实验结果

研究问题

• RQ1 具有可分协方差函数的随机过程的精确结构形式是什么？
• RQ2 假设可分协方差函数在多大程度上限制了潜在随机过程的二阶性质？
• RQ3 独立过程的乘积形式能否完全解释具有可分协方差函数的过程的二阶行为？
• RQ4 在模拟器中使用可分协方差函数如何影响预测的可靠性，尤其是在高维输入空间中？
• RQ5 尽管计算上便捷，为何常规做法——即完全基于可分协方差函数构建整个模拟器——可能存在问题？

主要发现

• 具有连续可分协方差函数的随机过程在二阶意义下等价于各输入维度上不相关随机变量与连续函数乘积的和。
• 表示定理建立了可分性的充要条件：该过程必须可表示为 ∑ᵢⱼ Zᵢⱼ gᵢ(x)hⱼ(y)，其中 {Zᵢⱼ} 为不相关、均值为零、单位方差的随机变量。
• 反向结果表明，任何具有可分协方差函数的过程的二阶结构，均可通过两个不相关过程的乘积完全复制，该结论通过k重不相关族的形式正式化。
• 在模拟器中使用可分协方差函数隐含假设模拟器输出 f(x,y) 可近似为 fₓ(x)fᵧ(y)，这是一种强烈的结构约束，通常并不合理。
• 可分先验可能导致在高维输入空间的边缘和角落区域出现较差的外推性能，因为在这些区域数据稀疏，先验占主导地位。
• 使用模拟器运行更新可分模拟器会破坏后验协方差的可分性，但先验的结构假设仍会影响后验，尤其是在高维区域。