[论文解读] Estimates of the coverage of parameter space by Latin Hypercube and Orthogonal sampling: connections between Populations of Models and Experimental Designs

Diane Donovan, Kevin Burrage+4 more|arXiv (Cornell University)|Oct 13, 2015

Probabilistic and Robust Engineering Design参考文献 14被引用 4

一句话总结

本文通过计数论证和渐近分析，从理论上证明当 n = p^d 时，拉丁超立方采样（LHS）与正交采样（OS）在 d 维参数空间中提供的期望覆盖度完全相同。此外，研究进一步表明，当投影到 t 维子空间时，期望覆盖度仅取决于 t，而与 d 无关，且覆盖度渐近趋近于 1 − exp(−kλ)，其中 λ = 1/n^{t−1}（t ≥ 2），该结论已通过模拟验证。

ABSTRACT

In this paper we use counting arguments to prove that the expected percentage coverage of a $d$ dimensional parameter space of size $n$ when performing $k$ trials with either Latin Hypercube sampling or Orthogonal sampling (when $n=p^d$) is the same. We then extend these results to an experimental design setting by projecting onto a 2 dimensional subspace. In this case the coverage is equivalent to the Orthogonal sampling setting when the dimension of the parameter space is two. These results are confirmed by simulations. The ideas presented here have particular relevance when attempting to perform uncertainty quantification or when building populations of models.

研究动机与目标

• 确定拉丁超立方采样（LHS）与正交采样（OS）在 n = p^d 条件下是否对 d 维参数空间提供等价的期望覆盖度。
• 分析将高维样本投影到低维子空间时的期望覆盖度，尤其关注实验设计应用中的表现。
• 利用渐近展开和组合计数方法，建立覆盖误差的理论边界。
• 通过在不同维度和样本规模下进行模拟，验证理论结果的正确性。
• 为不确定性量化和模型集合方法提供严谨的采样覆盖度保证。

提出的方法

• 使用计数论证比较在 OS 条件下 n = p^d 时，LHS 与 OS 对参数空间的期望覆盖率。
• 应用渐近分析推导覆盖近似误差的边界，将误差分解为 E₁ 和 E₂ 两部分。
• 推导出期望覆盖度为 P(k,n) ∼ 1 − exp(−kλ)，其中在全空间下 λ = 1/n^{d−1}，在 2D 投影下 λ = 1/n。
• 将样本投影到 t 维子空间，推导覆盖行为为 P(k,n) ∼ 1 − exp(−kλ)，其中一般 t 下 λ = 1/n^{t−1}。
• 利用斯特林公式及二项式系数的界，证明在条件 kλ ≤ Cn 下，E₁ 和 E₂ 为渐近可忽略。
• 通过在 d = 5 维空间中对 t = 2, 3, 4 维子空间的投影进行模拟，验证理论预测。

实验结果

研究问题

• RQ1 当 n = p^d 时，拉丁超立方采样与正交采样是否对 d 维参数空间产生等价的期望覆盖度？
• RQ2 当将高维样本投影到 t 维子空间时，参数空间的期望覆盖度如何变化？
• RQ3 LHS 与 OS 的期望覆盖度的渐近形式是什么？其如何依赖于试验次数 k 和参数空间大小 n？
• RQ4 能否利用组合与渐近技术对 LHS 与 OS 的覆盖误差进行边界估计？在实际采样条件下，这些边界是否足够紧？
• RQ5 投影子空间的模拟覆盖度是否与理论预测 1 − exp(−kλ)（其中 λ = 1/n^{t−1}）一致？

主要发现

• LHS 与 OS 的期望覆盖度渐近等价，且表达式为 1 − exp(−kλ)，其中在 d 维全空间下 λ = 1/n^{d−1}。
• 在投影到二维子空间时，期望覆盖度为 1 − exp(−kλ)，其中 λ = 1/n，且与原始维度 d 无关。
• 理论覆盖模型 P(k,n) ∼ 1 − exp(−kλ) 在条件 kλ² → 0 下成立，且误差项 E₁ 与 E₂ 被证明为渐近可忽略。
• 模拟结果确认了 log(试验次数) 与 log(n) 之间的梯度为 t−1（t = 2, 3, 4），在接近完全覆盖时因重叠增加而出现轻微偏差。
• 当投影到 t 维子空间时，覆盖行为与原始参数空间维度 d 无关，仅取决于 t 和 n。
• 分析证实，LHS 与 OS 达到相同的期望覆盖度，验证了其在不确定性量化与模型集合框架中可互换使用。