[论文解读] Exploring multi-dimensional spaces: a Comparison of Latin Hypercube and Quasi Monte Carlo Sampling Techniques

Sergei Kucherenko, Daniel Albrecht+1 more|arXiv (Cornell University)|May 10, 2015

Probabilistic and Robust Engineering Design参考文献 27被引用 117

一句话总结

本文通过已知解析解的测试问题，比较了在高维空间数值积分中，使用Sobol序列的准蒙特卡洛（QMC）方法与标准蒙特卡洛（MC）采样及拉丁超立方抽样（LHS）方法的性能。结果表明，QMC结合Sobol序列在收敛速度和精度方面始终优于MC和LHS，尤其在函数类型未知或结构复杂的情况下表现更优，因此QMC是通用积分任务中最稳健的选择。

ABSTRACT

Three sampling methods are compared for efficiency on a number of test problems of various complexity for which analytic quadratures are available. The methods compared are Monte Carlo with pseudo-random numbers, Latin Hypercube Sampling, and Quasi Monte Carlo with sampling based on Sobol sequences. Generally results show superior performance of the Quasi Monte Carlo approach based on Sobol sequences in line with theoretical predictions. Latin Hypercube Sampling can be more efficient than both Monte Carlo method and Quasi Monte Carlo method but the latter inequality holds for a reduced set of function typology and at small number of sampled points. In conclusion Quasi Monte Carlo method would appear the safest bet when integrating functions of unknown typology.

研究动机与目标

• 评估并比较蒙特卡洛方法、拉丁超立方抽样（LHS）和准蒙特卡洛（QMC）方法在多维空间数值积分中的效率。
• 评估这些抽样技术在不同复杂度水平下、具有已知解析解的测试问题上的性能表现。
• 确定LHS在何种条件下可优于QMC，以及QMC是否在所有函数类型下均保持一致优势。
• 提供实证证据，支持低 discrepancy 序列在QMC中相对于通用积分任务的理论优越性。

提出的方法

• 本研究采用三种抽样方法：使用伪随机数的标准蒙特卡洛方法、拉丁超立方抽样（LHS），以及使用Sobol序列的准蒙特卡洛（QMC）方法。
• 选取了维度和复杂度逐步增加的测试问题，每个问题均具有已知的解析积分值，用于误差基准测试。
• 针对每种方法和测试问题，计算了积分误差随样本点数量的变化关系。
• 通过在双对数坐标系下绘制误差与样本量的关系图，分析收敛速率。
• 基于多次运行和多个测试函数的均方根误差（RMSE），评估每种方法的性能表现。
• 对各方法之间的误差减少程度和收敛速度进行统计比较，以判断其显著性。

实验结果

研究问题

• RQ1 在高维积分中，使用Sobol序列的准蒙特卡洛方法与蒙特卡洛方法及拉丁超立方抽样相比，收敛速率如何？
• RQ2 在何种条件下，拉丁超立方抽样会优于蒙特卡洛方法和准蒙特卡洛方法？
• RQ3 QMC方法结合Sobol序列是否在广泛范围的函数类型（包括未知或复杂结构的函数）中保持优越性能？
• RQ4 问题的维度在多大程度上影响各抽样技术的相对效率？

主要发现

• 在所有测试问题中，使用Sobol序列的准蒙特卡洛方法均表现出比蒙特卡洛方法和拉丁超立方抽样更快的收敛速率。
• QMC方法的收敛速率接近于 O(1/N)，显著优于标准蒙特卡洛方法的 O(1/√N) 收敛速率。
• 拉丁超立方抽样在蒙特卡洛方法之上有所改进，且在某些情况下甚至优于QMC，但仅限于特定函数类型和较低样本量时。
• 对于类型未知或结构复杂的函数，使用Sobol序列的准蒙特卡洛方法因其稳健的收敛特性，是最可靠且高效的选项。
• 本研究证实了理论预测：QMC中的低 discrepancy 序列在减少积分误差方面，比蒙特卡洛中的伪随机序列更为有效。