[论文解读] Space-filling design for nonlinear models

Chang-Han Rhee, Enlu Zhou+1 more|arXiv (Cornell University)|Oct 31, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 16被引用 4

一句话总结

该论文提出了一种迭代的填充空间设计算法，该算法对非线性计算机模型的输出流形进行均匀采样，而非输入参数空间，从而以最少的模拟次数实现对模型行为的高效且可靠的表示。该方法利用逆密度估计和局部几何信息，优先选择输出可变性较高的区域，实现了在Wasserstein距离下的收敛速率 $ O(N^{-rac{1- ho}{2(m+1)}}) $。

ABSTRACT

Performing a computer experiment can be viewed as observing a mapping between the model parameters and the corresponding model outputs predicted by the computer model. In view of this, experimental design for computer experiments can be thought of as devising a reliable procedure for finding configurations of design points in the parameter space so that their images represent the manifold parametrized by such a mapping (i.e., computer experiments). Traditional space-filling designs aim to achieve this goal by filling the parameter space with design points that are as "uniform" as possible in the parameter space. However, the resulting design points may be non-uniform in the model output space and hence fail to provide a reliable representation of the manifold, becoming highly inefficient or even misleading in case the computer experiments are non-linear. In this paper, we propose an iterative algorithm that fills in the model output manifold uniformly---rather than the parameter space uniformly---so that one could obtain a reliable understanding of the model behaviors with the minimal number of design points.

研究动机与目标

• 为解决传统填充空间设计在非线性计算机实验中效率低下且可能产生误代表的问题，即在输入空间中均匀采样无法捕捉输出流形的真实几何结构。
• 开发一种设计策略，确保即使从参数到输出的映射高度非线性，也能实现对模型输出流形的均匀覆盖。
• 在最小化昂贵模拟运行次数的同时，实现对整个输出空间中模型行为的可靠且准确的表示。
• 提供一种理论基础坚实的迭代算法，基于输出流形的局部几何和密度自适应选择设计点。

提出的方法

• 该方法迭代地在输入空间中选择设计点，使得其在非线性映射下的像在输出流形上均匀分布。
• 采用局部逆密度估计器识别输出空间中采样稀疏的区域，并优先在这些区域选择新的设计点。
• 利用基于Wasserstein距离的准则来衡量输出经验分布与流形上目标均匀分布之间的差异。
• 结合输出流形上逆映射的局部线性近似，估计实现均匀分布输出所需的输入扰动。
• 通过一系列优化步骤更新设计点，平衡对稀疏输出区域的探索与向均匀覆盖的收敛。
• 理论分析基于逆映射的Lipschitz连续性以及输出分布密度的有界性，以建立收敛速率。

实验结果

研究问题

• RQ1 我们能否设计一种计算机实验，确保对输出流形的均匀覆盖，而非输入参数空间，特别是在高度非线性的模型中？
• RQ2 如何高效地选择一组最小的输入配置，使其对应的输出能均匀代表模型可能行为的全部范围？
• RQ3 此类设计过程在模拟运行次数方面的理论收敛速率是多少？
• RQ4 当输入空间较大但输出流形维度较低且高度弯曲时，该方法如何应对？

主要发现

• 所提出的算法在经验输出分布与流形上目标均匀分布之间的Wasserstein距离下，实现了 $ O(N^{-\frac{1-\rho}{2(m+1)}}) $ 阶的收敛速率。
• 该方法在捕捉输出流形的真实几何结构方面显著优于传统填充空间设计，尤其在高曲率或非均匀映射区域表现更优。
• 理论分析表明，在模型映射的适度正则性条件下，估计输出密度与真实输出密度之间的期望差异随模拟次数增加而减小。
• 该算法能有效避免在输入空间中对映射到相同或相似输出区域的冗余区域进行采样，从而减少计算浪费。
• 收敛速率取决于输入空间的内在维度 $ m $ 和逆映射的光滑性，对于更光滑的模型，收敛速度更快。