[论文解读] Improvement of the cross-entropy method in high dimension for failure probability estimation through a one-dimensional projection without gradient estimation

Maxime El-Masri, Jérôme Morio+1 more|arXiv (Cornell University)|Dec 21, 2020

Probabilistic and Robust Engineering Design参考文献 36被引用 4

一句话总结

本文提出了一种基于一维投影的改进方法，用于高维问题中罕见事件概率估计的交叉熵（CE）方法。通过仅沿当前均值向量估计方向更新高斯协方差矩阵，该方法在无需梯度估计的情况下避免了高维情况下的协方差矩阵退化问题。该方法显著提升了CE在高维场景下的性能，同时保持相同的计算预算，且从不降低性能。

ABSTRACT

Rare event probability estimation is an important topic in reliability analysis. Stochastic methods, such as importance sampling, have been developed to estimate such probabilities but they often fail in high dimension. In this paper, we propose a new cross-entropy-based importance sampling algorithm to improve rare event probability estimation in high dimension. We focus on the cross-entropy method with Gaussian auxiliary distributions and we suggest to update the Gaussian covariance matrix only in a one-dimensional subspace. For that purpose, the main idea is to consider the projection in the one-dimensional subspace spanned by the sample mean vector, which gives an influential direction for the variance estimation. This approach does not require any additional simulation budget compared to the basic cross-entropy algorithm and we show on different numerical test cases that it greatly improves its performance in high dimension.

研究动机与目标

• 解决标准交叉熵（CE）方法在高维可靠性问题中因协方差矩阵退化而导致的失效问题。
• 提出一种计算高效、无需梯度的改进方法，以提升高维场景下的罕见事件概率估计性能。
• 在保持与基础CE方法相同仿真预算的前提下，提升收敛速度与准确性。
• 通过聚焦参数空间中最具影响力的单一方向，为全协方差矩阵更新提供一种稳健的替代方案。
• 确保该方法适用于单峰目标失效分布，这是可靠性分析中的常见假设。

提出的方法

• 将高维参数更新投影到由当前均值向量估计（m*）张成的一维子空间上。
• 在每次迭代中仅更新m*方向上的协方差项，而非整个协方差矩阵。
• 使用样本均值向量作为主方向，因其对应于方差缩减的最关键方向。
• 保留标准CE算法的结构，但将协方差更新限制在单一主导方向上，以减少估计噪声。
• 利用高斯分布的轻尾特性，确保沿m*方向的方差估计稳定。
• 完全避免梯度估计，仅依赖重要性采样框架中的样本均值和权重。

实验结果

研究问题

• RQ1 将协方差更新方向限制为一维投影，是否能显著提升高维失效概率估计中CE方法的收敛性与准确性？
• RQ2 将协方差更新限制在当前均值向量方向，是否能防止标准CE在高维场景下因协方差矩阵退化而失效？
• RQ3 该方法是否能在避免梯度计算的前提下，保持或优于全协方差更新（如CEd）的性能？
• RQ4 该方法在不同高维测试案例中是否具有鲁棒性，尤其是在所有输入变量均具影响力的情况下？
• RQ5 该方法是否在降低计算复杂度与估计方差的同时，仍保持CE的理论性质？

主要发现

• 所提出的CE-m*方法避免了标准CE在高维问题中常见的协方差矩阵退化问题。
• 在高维场景下（例如，n > 200），CE-m*在性能上持续优于标准CE和CEd，在标准CE无法收敛时仍能获得准确估计。
• 在维度不超过100时，CE-m*在准确性和变异系数方面与CEd表现相当。
• 在抛物线测试函数（n = 100）中，CE-m*实现了2.9 × 10⁻⁴的均值估计，变异系数为7.2%，显著优于标准CE。
• 该方法从不降低CE性能，且在高维场景下通常能实现数量级更好的收敛性。
• 实证结果表明，仅沿m*方向估计方差，相比全协方差或对角协方差更新，在高维场景下能提供更可靠、更具信息量的更新。