[论文解读] Cross-Entropy method: convergence issues for extended implementation

F Dambreville|arXiv (Cornell University)|Sep 16, 2006

Probabilistic and Robust Engineering Design参考文献 5被引用 10

一句话总结

本文研究了在随机优化及弱模型族情况下交叉熵（CE）方法的收敛失败问题。提出一种平滑选择策略——以基于目标函数值的加权采样替代基于分位数的选择——以提升鲁棒性，通过随机测试证明，该变体在具有挑战性的条件下，性能达到全局最优的99.1%，在稳定性和准确性上优于标准CE和基于期望的CE。

ABSTRACT

The cross-entropy method (CE) developed by R. Rubinstein is an elegant practical principle for simulating rare events. The method approximates the probability of the rare event by means of a family of probabilistic models. The method has been extended to optimization, by considering an optimal event as a rare event. CE works rather good when dealing with deterministic function optimization. Now, it appears that two conditions are needed for a good convergence of the method. First, it is necessary to have a family of models sufficiently flexible for discriminating the optimal events. Indirectly, it appears also that the function to be optimized should be deterministic. The purpose of this paper is to consider the case of partially discriminating model family, and of stochastic functions. It will be shown on simple examples that the CE could fail when relaxing these hypotheses. Alternative improvements of the CE method are investigated and compared on random examples in order to handle this issue.

研究动机与目标

• 识别并分析在应用于随机目标函数或非闭合模型族时，交叉熵（CE）方法的收敛失败问题。
• 研究标准CE在模型族无法表示最优解（例如，不包含最优解处的狄拉克δ函数）时的局限性。
• 评估替代选择策略在非确定性和表达能力弱的设置下提升CE收敛性的效果。
• 在随机生成的随机优化问题上，比较基础CE、基于期望的CE和平滑选择CE的性能。
• 为平滑选择策略提供实证验证，证明其在处理随机性和表达能力差的优化场景中是一种可行的替代方案。

提出的方法

• 提出一种平滑选择策略，其中样本权重由目标函数值 $ v_n = V(d_n, x_n) $ 决定，替代标准的分位数选择。
• 采用加权交叉熵更新：$ h \triangleq \arg\max_h \sum_{n=1}^N R(v_n) \ln h(d_n) $，其中 $ R(v_n) = v_n $，用于更新参数化分布 $ h $。
• 采用随机化测试设置：$ d $ 和 $ x $ 各有100个状态，$ V(d,x) \in (0,1] $ 均匀随机生成，先验分布 $ p $ 均匀，以实现对全局最优解的全面评估。
• 实施平滑更新规则，其中 $ \alpha = 0.9 $，以在迭代过程中稳定参数更新。
• 比较三种方法：(1) 基础CE（采用分位数选择），(2) 基于期望的CE（在 $ K=100 $ 个样本上估计 $ \mathbb{E}[V] $），(3) 平滑选择CE（$ R(v_n) = v_n $）。
• 每轮迭代使用 $ N = 100 $ 个样本，$ \rho = 10\% $，并运行1000次独立实验，以计算相对于全局最优解的性能均值与方差。

实验结果

研究问题

• RQ1 当目标函数具有随机性，即 $ f(x) $ 为随机变量时，经典CE算法是否能可靠收敛？
• RQ2 当算法中使用的模型族无法表示最优解（例如，不包含最优解处的狄拉克δ函数）时，CE的收敛性会如何变化？
• RQ3 在随机或表达能力弱的设置下，与标准分位数选择相比，基于样本目标值加权的平滑选择策略是否能改善收敛性？
• RQ4 在收敛至全局最优解方面，基于期望的CE与平滑选择CE在性能和稳定性上如何比较？
• RQ5 平滑选择策略在模型族受限和随机性条件下是否具有鲁棒性？其在这些条件下是否可证明收敛？

主要发现

• 当目标函数具有随机性时，标准CE方法因在选择阶段对期望奖励估计不佳，导致无法可靠收敛。
• 当模型族表达能力过弱，无法表示最优解（例如，无法表达最优解处的狄拉克δ函数）时，CE会收敛至次优的随机近似解。
• 平滑选择策略（即按样本目标值 $ v_n $ 加权）相比标准CE，显著提升了收敛性能。
• 在1000个随机测试实例中，平滑选择CE的平均性能达到全局最优的99.1%，方差为0.7%，优于基础CE（均值93.9%，方差3.7%）。
• 基于期望的CE方法达到99.0%的平均性能，方差更低（0.4%），但因需对每个候选解重复采样，计算成本更高。
• 平滑选择CE在收敛速度上与基于期望的CE相当，但计算成本更低，因此在处理随机问题时更具效率，是一种更优的替代方案。