[论文解读] Contour location via entropy reduction leveraging multiple information sources

Alexandre Noll Marques, Rémi Lam+1 more|arXiv (Cornell University)|May 19, 2018

Industrial Vision Systems and Defect Detection被引用 16

一句话总结

本文提出 CLoVER，一种新颖算法，通过基于熵的获取策略，利用多种信息源，高效定位计算代价高昂的函数的等高线。该方法引入了等高线熵作为形式化的不确定性度量，并最大化单位成本下的熵减少量，在基准问题上优于现有方法，展现出更高的准确性和效率。

ABSTRACT

We introduce an algorithm to locate contours of functions that are expensive to evaluate. The problem of locating contours arises in many applications, including classification, constrained optimization, and performance analysis of mechanical and dynamical systems (reliability, probability of failure, stability, etc.). Our algorithm locates contours using information from multiple sources, which are available in the form of relatively inexpensive, biased, and possibly noisy approximations to the original function. Considering multiple information sources can lead to significant cost savings. We also introduce the concept of contour entropy, a formal measure of uncertainty about the location of the zero contour of a function approximated by a statistical surrogate model. Our algorithm locates contours efficiently by maximizing the reduction of contour entropy per unit cost.

研究动机与目标

• 解决工程和科学应用中常见的昂贵函数等高线定位挑战。
• 通过结合高保真度评估与多个廉价、有偏、噪声较大的近似信息源，降低计算成本。
• 开发一种自适应选择评估点的方法，在固定预算下最小化关于等高线位置的不确定性。
• 通过新提出的度量——等高线熵，形式化描述等高线位置的不确定性。
• 在准确性和收敛速度方面超越现有等高线定位算法。

提出的方法

• 将等高线熵作为基于高斯过程代理模型的函数零等高线位置不确定性的形式化度量。
• 采用多信息源高斯过程代理模型，无需预先定义各信息源之间的保真度层级。
• 使用一步前瞻获取函数，以最大化单位评估成本下的等高线熵减少量。
• 以所有可用信息源中少量随机评估结果初始化代理模型。
• 通过优化熵减少获取函数，顺序选择新的评估点，当不确定性仍较高时优先选择成本较低的信息源。
• 迭代更新代理模型并重新优化获取函数，直至收敛或预算耗尽。

实验结果

研究问题

• RQ1 如何通过整合多个低保真度、有噪声且有偏的信息源来改进等高线定位？
• RQ2 在代理模型中，关于等高线位置的不确定性，何种形式化的度量是有效的？
• RQ3 以熵减少作为准则，是否能比启发式不确定性度量实现更高效的等高线定位？
• RQ4 所提出的基于熵的获取函数在等高线定位中的性能，与现有获取函数相比如何？
• RQ5 通过优先使用低成本信息源，该算法能否在极少高保真度评估下实现高精度？

主要发现

• 在 Branin-Hoo 函数中，CLoVER 在估计 g(x) > 80 区域面积时优于 EGRA、Ranjan、TMSE、TIMSE 和 SUR 算法，平均相对误差更低。
• 在 Branin-Hoo 基准测试中，CLoVER 的面积估计相对误差平均低于所有对比算法，中位数误差低于 1%。
• 在管式反应器案例中，CLoVER 在 22 次迭代后定位到 D = 0.165 处的 Hopf 分岔点，仅使用了 4 次 IS0 的高保真度评估。
• 经过 22 次迭代，算法将等高线熵降低至 ∼6×10⁻⁹，表明等高线位置已近乎确定。
• CLoVER 在使用仅两次高成本 IS0 评估前，优先进行了 11 次低成本 IS1 评估，展示了有效的成本感知探索能力。
• 基于单位成本熵减少的获取函数，相比贪婪策略或基于二次损失的替代方案，实现了更快的收敛速度和更优的不确定性量化。