[论文解读] DFO-LS: A flexible derivative-free solver for (bound constrained) nonlinear least-squares minimization

Coralia Cartis, Jan Fiala+2 more|arXiv (Cornell University)|Apr 5, 2019

Advanced Optimization Algorithms Research被引用 10

一句话总结

DFO-LS 是一种用于非线性最小二乘问题的无导数优化求解器，能够在仅进行两次目标函数评估的情况下实现早期进展，通过简化线性回归模型对残差进行建模。它通过自动检测停滞、多次重启以及噪声处理策略提升了鲁棒性，在噪声大且计算昂贵的问题上优于采样和回归方法，同时在光滑目标函数上也保持了出色的性能。

ABSTRACT

DFO-LS is a flexible package for solving nonlinear least-squares minimisation, without requiring derivatives of the objective. It is particularly useful when evaluations of the objective function are expensive and/or noisy. URL: https://github.com/numericalalgorithmsgroup/dfols Documentation: https://numericalalgorithmsgroup.github.io/dfols/ More information about DFO-LS can be found in our paper: Coralia Cartis, Jan Fiala, Benjamina Marteau and Lindon Roberts, Improving the Flexibility and Robustness of Model-Based Derivative-Free Optimization Solvers, ACM Transactions on Mathematical Software, 45:3 (2019), pp. 32:1-32:41. [preprint]

研究动机与目标

• 提升基于模型的无导数优化求解器在昂贵且存在噪声问题上的灵活性与鲁棒性。
• 降低基于模型的 DFO 求解器的初始化成本，使其仅需两次目标函数评估即可开始进展，而非传统 n 维问题所需的 n+1 次评估。
• 通过样本平均、回归模型和多重重启策略提升对噪声的鲁棒性，尤其在早期阶段表现更优。
• 开发基于 Python 的实现 Py-BOBYQA，用于通用非线性优化，具备类似的鲁棒性特征。
• 为数据性能图引入一种噪声调整的精度度量，以在性能评估中平衡真实目标函数与噪声目标函数的改进。

提出的方法

• DFO-LS 基于信赖域框架，借鉴高斯-牛顿法，为残差构建简化的线性回归模型。
• 它允许仅通过两次目标函数评估即可初始化，绕过了大多数基于模型的 DFO 求解器所需的标准 n+1 次评估要求。
• 求解器采用自动检测停滞机制以触发多次重启，有助于摆脱局部极小值，提升鲁棒性。
• 它集成了样本平均和基于回归的模型以处理噪声，每轮迭代采用 O(∆⁻¹ₖ) 的采样策略，以平衡鲁棒性与早期性能。
• Py-BOBYQA 实现为 BOBYQA 的 Python 版本，支持边界约束和抗噪声策略。
• 为数据性能图引入一种新的自适应精度度量，以更公平地评估求解器在噪声函数上的性能。

实验结果

研究问题

• RQ1 无导数求解器是否能在仅进行少于 n+1 次目标函数评估的情况下，在计算昂贵的问题上实现有意义的进展？
• RQ2 在无导数优化中，多重重启在提升对噪声的鲁棒性以及逃离局部极小值方面有多有效？
• RQ3 在基于模型的 DFO 中，使用回归模型或样本平均是否相比标准方法能提升在噪声问题上的性能？
• RQ4 通过将噪声目标函数与真实目标函数的改进对齐，是否能通过在数据性能图中引入噪声调整的精度水平，实现对求解器在噪声函数上性能的更公平基准测试？
• RQ5 与传统基于模型的 DFO 求解器相比，DFO-LS 的初始化灵活性在早期性能和长期收敛性方面表现如何？

主要发现

• DFO-LS 在中等规模问题上实现的进展，所需的目标函数评估次数少于单次梯度评估所需次数。
• 该求解器仅需两次目标函数评估即可开始进展，显著降低了昂贵问题的初始化成本。
• 通过自动检测停滞触发的多重重启，是一种低成本且高效的鲁棒性增强机制，优于采样和回归技术。
• 在噪声问题上，采用多重重启的 Py-BOBYQA 性能可与当前最先进的 DFO 求解器相媲美或更优。
• 所提出的用于数据性能图的噪声调整精度度量，通过对齐噪声目标函数与真实目标函数的改进，实现了对求解器在噪声函数上性能的更公平评估。
• 多重重启在光滑问题上不会降低性能，甚至可通过帮助逃离局部极小值而提升性能，如在 (MW) 数据集中的第 14 个问题中所展示。