[论文解读] Global optimization via inverse distance weighting.

Alberto Bemporad|arXiv (Cornell University)|Jun 15, 2019

Advanced Multi-Objective Optimization Algorithms被引用 4

一句话总结

该论文提出了一种计算高效的全局优化算法，结合了反距离加权（IDW）和径向基函数（RBFs），构建代理模型并指导采集采样。在基准问题上，其性能与贝叶斯优化相当或更优，支持简单约束，并提供了开源的 MATLAB/Python 实现。

ABSTRACT

Global optimization problems whose objective function is expensive to evaluate can be solved effectively by recursively fitting a surrogate function to function samples and minimizing an acquisition function to generate new samples. The acquisition step trades off between seeking for a new optimization vector where the surrogate is minimum (exploitation of the surrogate) and looking for regions of the feasible space that have not yet been visited and that may potentially contain better values of the objective function (exploration of the feasible space). This paper proposes a new global optimization algorithm that uses a combination of inverse distance weighting (IDW) and radial basis functions (RBF) to construct the acquisition function. Rather arbitrary constraints that are simple to evaluate can be easily taken into account by the approach. Compared to Bayesian optimization, the proposed algorithm is computationally lighter and, as we show in a set of benchmark global optimization and hyperparameter tuning problems, it has a very similar (and sometimes superior) performance. MATLAB and Python implementations of the proposed approach are available at http://cse.lab.imtlucca.it/~bemporad/idwgopt

研究动机与目标

• 解决全局优化中目标函数评估成本高昂的问题，其中每次函数评估在时间和资源上均代价昂贵。
• 开发一种轻量级的贝叶斯优化替代方法，在保持高性能的同时降低计算开销。
• 实现简单且低成本约束在优化过程中的便捷集成。
• 提供一种适用于实际应用场景（如超参数调优和工程设计）的实用且高效的算法。

提出的方法

• 使用反距离加权（IDW）构建代理模型，对采样点处的函数值进行插值，优先考虑距离更近的样本并赋予其更高的影响权重。
• 将 IDW 与径向基函数（RBFs）结合，形成平滑的代理模型，以捕捉目标函数的局部与全局趋势。
• 定义一个采集函数，平衡利用（最小化代理模型）与探索（聚焦于可行空间中未访问的区域）。
• 通过最小化采集函数，迭代选择新的采样点，确保探索与利用之间的动态权衡。
• 在候选点选择过程中直接评估约束条件，而不修改代理模型结构。
• 采用类似信赖域的策略，通过代理模型和采集函数引导，确保采样稳定性和收敛性。

实验结果

研究问题

• RQ1 基于 IDW 和 RBF 的代理方法是否能在全局优化任务中表现优于或等同于贝叶斯优化？
• RQ2 所提出的方法如何处理易于评估但可能限制可行区域的约束？
• RQ3 与贝叶斯优化相比，所提算法的计算成本在多大程度上保持较低水平？
• RQ4 该方法在多样化的基准问题和超参数调优场景中是否保持稳健的性能？

主要发现

• 所提出的 IDW-RBF 算法在一系列全局优化基准测试中，性能与或优于贝叶斯优化。
• 在超参数调优任务中，该算法表现出更优或相当的收敛速度与精度，尤其在高维设置下表现突出。
• 由于省去了概率推理和边缘似然优化，该方法的计算量显著低于贝叶斯优化。
• 易于评估的约束可无缝集成到采样过程中，而无需改变代理模型结构。
• 开源的 MATLAB 和 Python 实现支持可复现性，并可在科研与工业应用中直接部署。
• 通过基于 IDW-RBF 插值设计的优质采集函数，该方法保持了出色的探索-利用平衡。