[论文解读] A new criterion based on Kullback-Leibler information for space filling designs

Astrid Jourdan, Jessica Franco|ArXiv.org|Apr 16, 2009

Mathematical Approximation and Integration参考文献 16被引用 4

一句话总结

本文提出了一种基于Kullback-Leibler（KL）信息的新型空间填充设计准则，旨在最小化设计点经验分布与均匀分布之间的差异。通过使用核密度或最近邻方法进行蒙特卡洛估计以最大化香农熵，该方法在计算机实验设置中提升了设计的均匀性与效率。

ABSTRACT

Experimental designs are tools which can drastically reduce the number of simulations required by time-consuming computer codes. One strategy for selecting the values of the inputs, whose response is to be observed, is to choose these values so that they are spread evenly throughout the experimental region, according to ?space filling designs?. In this article, we suggest a new criterion based on the Kullback-Leibler information for design construction. The aim is to minimize the difference between the empirical distribution of the design points and the uniform distribution which is equivalent to maximizing the Shannon entropy. The entropy is estimated by a Monte Carlo method, where the density function is replaced with its kernel density estimator or by using the nearest neighbor distances.

研究动机与目标

• 开发一种新的空间填充设计准则，以确保实验区域的均匀覆盖。
• 最小化设计点经验分布与均匀分布之间的Kullback-Leibler差异。
• 通过将香农熵最大化作为均匀性的代理，提升计算机实验中的设计效率。
• 提供一种计算上可行的熵估计方法，结合蒙特卡洛技术与非参数密度估计。
• 为现有空间填充准则（如最大最小距离或最小最大距离）提供一种稳健的替代方案。

提出的方法

• 基于最小化设计点经验分布与均匀分布之间KL差异的准则进行公式化。
• 使用核密度估计的蒙特卡洛积分方法估计设计的香农熵。
• 采用最近邻距离替代熵估计方法，以避免带宽选择问题。
• 通过最小化KL差异来优化设计，这在均匀性约束下等价于最大化熵。
• 使用迭代算法生成在高维空间中收敛于均匀性的设计。
• 通过与经典空间填充准则的对比，利用模拟研究验证该方法。

实验结果

研究问题

• RQ1 如何将经验分布与均匀分布之间的KL差异用作空间填充设计的准则？
• RQ2 香农熵最大化对计算机实验中设计的均匀性与覆盖度有何影响？
• RQ3 在设计评估中，核密度估计与最近邻方法在熵估计方面有何比较？
• RQ4 所提出的基于KL的准则是否在设计效率方面优于传统空间填充准则？
• RQ5 在高维设计构建中，基于熵的准则存在哪些计算权衡？

主要发现

• 所提出的基于KL的准则能有效最小化经验分布与均匀分布之间的差异，从而提升空间填充性能。
• 基于最近邻距离的熵估计为核密度估计提供了一种稳健的替代方案，尤其在高维情况下表现更优。
• 与标准准则（如最大最小距离）相比，该方法在复杂或高维输入空间中实现了更优的点分布均匀性。
• 基于蒙特卡洛的熵估计支持可扩展计算，使该方法适用于大规模仿真研究。
• 该准则对设计配置敏感，始终偏好在实验区域内更均匀分布的点。
• 实证结果表明，通过该准则优化的设计表现出更低的KL差异与更高的熵，优于传统方法。