[论文解读] Adaptive Interpolation Strategies in Derivative-Free Optimization: a case study

Warren Hare, Majid Jaberipour|arXiv (Cornell University)|Nov 9, 2015

Advanced Optimization Algorithms Research参考文献 25被引用 4

一句话总结

本文以无导数邻近点算法（DFPP）为案例研究，探讨无导数优化中自适应插值策略的性能。在60个测试问题上评估了64种自适应采样策略，发现用于构建模型的函数评估次数显著影响性能表现；自适应策略在高维问题中可提升性能，但设计不佳时可能导致性能下降。

ABSTRACT

Derivative-Free optimization (DFO) focuses on designing methods to solve optimization problems without the analytical knowledge of gradients of the objective function. There are two main families of DFO methods: model-based methods and direct search methods. In model-based DFO methods, a model of the objective function is constructed using only objective function values, and the model is used to guide the computation of the next iterate. Natural questions in this class of algorithms include how many function evaluations should be used to construct the model? And, should this number be fixed, or adaptively selected by the algorithm? In this paper, we numerically examine these questions, using Hare and Lucet's Derivative-Free Proximal Point (DFPP) algorithm [Hare, Lucet, 2014] as a case study. Results suggest that the number of function evaluations used to construct the model has a huge impact on algorithm performance, and adaptive strategies can both improve and hinder algorithm performance.

研究动机与目标

• 研究用于构建插值模型的函数评估次数如何影响无导数优化中的算法性能。
• 评估固定或自适应采样策略在函数调用次数方面的收敛速度表现孰优孰劣。
• 评估模型复杂度（线性、二次型或最小Frobenius范数插值）对算法效率的影响。
• 确定自适应策略是否可在DFPP算法框架中超越静态策略。
• 为基于模型的无导数优化方法中模型精度与计算成本之间的权衡提供实证证据。

提出的方法

• 本研究以无导数邻近点（DFPP）算法为测试平台，评估插值策略。
• 实现了六十四种自适应策略，根据前一迭代的表现动态调整插值集的大小。
• 评估了三种插值模型：线性（n+1个点）、二次型（(n+1)(n+2)/2个点）和最小Frobenius范数（中等规模）。
• 通过启用或禁用线搜索，评估其对收敛速度和鲁棒性的影响。
• 采用10⁻³和10⁻⁶的容差生成数据轮廓，用于比较60个测试问题上的求解器性能。
• 以函数调用次数为性能指标，汇总并可视化结果，以评估算法的速度与鲁棒性。

实验结果

研究问题

• RQ1 用于构建插值模型的函数评估次数如何影响DFPP算法的收敛速度？
• RQ2 与固定大小策略相比，自适应选择插值集大小的策略是否能提升性能？
• RQ3 在线搜索是否显著提升无导数优化中自适应插值策略的性能？
• RQ4 是否存在特定问题维度或特征，使得自适应策略优于静态策略？
• RQ5 在收敛速度和鲁棒性方面，不同插值模型（线性、二次型、最小Frobenius范数）表现如何比较？

主要发现

• 用于构建模型的函数评估次数对算法性能有显著影响，过度或不足的参数化均导致效率低下。
• 自适应策略可提升收敛性能，尤其在高维问题中，但设计不佳的自适应规则会严重损害性能。
• 在容差为10⁻³时，采用Sₙ作为初始集、S₂ₙ作为下一集合的策略（Nₛ=Sₙ, Nₙ₁=Sₙ, Nₙ₂=S₂ₙ）在无线搜索策略中表现最佳。
• 在更严格的容差10⁻⁶下，采用Nₛ=Sₙ, Nₙ₁=S₂ₙ, Nₙ₂=Sₙ的策略在无线搜索方法中表现最优。
• 线搜索在所有策略中均一致提升了性能，当启用线搜索时，仅使用Sₙ的策略（Nₛ=Nₙ₁=Nₙ₂=Sₙ）表现优于所有其他策略。
• 使用较少函数评估的简化模型（如线性插值）通常优于需要大量评估的复杂模型，表明模型精度与计算成本之间存在权衡。