[论文解读] Model-Based Derivative-Free Optimization Methods and Software

Tom M. Ragonneau|arXiv (Cornell University)|Oct 21, 2022

Advanced Optimization Algorithms Research被引用 5

一句话总结

本文提出COBYQA，一种新型无导数信赖域序列二次规划（SQP）方法，用于求解非线性约束优化问题，无需梯度信息。通过大量数值实验表明，COBYQA在尊重边界约束和处理一般非线性约束方面优于现有求解器（如COBYLA和UOBYQA），在作为通用无导数优化求解器方面表现更优。

ABSTRACT

This thesis studies derivative-free optimization (DFO), particularly model-based methods and software. These methods are motivated by optimization problems for which it is impossible or prohibitively expensive to access the first-order information of the objective function and possibly the constraint functions. In particular, this thesis presents PDFO, a package we develop to provide both MATLAB and Python interfaces to Powell's model-based DFO solvers, namely COBYLA, UOBYQA, NEWUOA, BOBYQA, and LINCOA. Moreover, a significant part of this thesis is devoted to developing a new DFO method based on the sequential quadratic programming (SQP) method. Therefore, we present an overview of the SQP method and provide some perspectives on its theory and practice. In particular, we show that the objective function of the SQP subproblem is a natural quadratic approximation of the original objective function in the tangent space of a surface. Finally, we elaborate on developing our new DFO method, named COBYQA after Constrained Optimization BY Quadratic Approximations. This derivative-free trust-region SQP method is designed to tackle nonlinearly constrained optimization problems that admit equality and inequality constraints. An important feature of COBYQA is that it always respects bound constraints, if any, which is motivated by applications where the objective function is undefined when bounds are violated. We expose extensive numerical experiments of COBYQA, showing evident advantages of COBYQA compared with Powell's DFO solvers. These experiments demonstrate that COBYQA is an excellent successor to COBYLA as a general-purpose DFO solver. This is the Ph.D. thesis finished under the supervision of Dr. Zaikun Zhang and Prof. Xiaojun Chen at The Hong Kong Polytechnic University. Financial support was provided by the UGC of Hong Kong under the Hong Kong Ph.D. Fellowship Scheme.

研究动机与目标

• 开发一种鲁棒的、通用的无导数优化（DFO）方法，适用于梯度信息不可用或计算成本过高的问题。
• 解决现有DFO求解器在有效处理边界约束方面的局限性，特别是当目标函数在边界外无定义时。
• 设计一种基于序列二次规划（SQP）的新DFO方法，能够自然地在约束曲面的切空间中近似目标函数。
• 在广泛测试问题上实现并评估新方法COBYQA，以验证其相对于现有求解器的优越性。
• 提供一个全面的软件包PDFO，支持MATLAB和Python接口，集成Powell的DFO求解器，包括COBYLA、UOBYQA、NEWUOA、BOBYQA和LINCOA。

提出的方法

• 该方法基于序列二次规划（SQP），其中子问题的目标函数是原始目标函数在约束流形切空间中的二次近似。
• 采用信赖域框架以确保全局收敛性和鲁棒性，模型更新基于在选定点处目标函数和约束值的插值。
• COBYQA通过在一组点处插值构造目标函数和约束函数的二次模型，同时保持与边界约束的一致性。
• 通过将迭代步长投影到可行区域内，确保所有迭代点均保持在边界内，这对函数在边界外无法计算的问题至关重要。
• 该方法采用信赖域方法控制步长大小，并确保模型充分下降，同时自适应调整信赖域半径。
• 实现软件包PDFO，为DFO求解器（包括新提出的COBYQA求解器）提供与MATLAB和Python互操作的接口。

实验结果

研究问题

• RQ1 能否设计一种基于无导数SQP的方法，使其自然地在约束流形的切空间中近似目标函数？
• RQ2 作为新型DFO求解器，COBYQA在收敛速度和鲁棒性方面是否优于现有最先进的DFO求解器（如COBYLA和UOBYQA）？
• RQ3 当目标函数在可行域外无定义时，COBYQA在保持边界约束方面有多有效？
• RQ4 信赖域SQP框架在多大程度上提升了无导数优化在非线性约束问题中的收敛行为？
• RQ5 统一的软件包PDFO能否有效支持MATLAB和Python用户访问和使用Powell的DFO求解器（包括新提出的COBYQA方法）？

主要发现

• COBYQA在广泛测试问题中，收敛速度和鲁棒性方面始终优于COBYLA及其他现有DFO求解器。
• 该新方法在所有迭代点中均成功尊重边界约束，这对函数在边界外无法计算的应用至关重要。
• 大量数值实验表明，COBYQA在等式和不等式约束问题上均表现出色，尤其在高维设置下性能更优。
• 在约束流形切空间中的二次近似比传统DFO方法提供了更准确、更稳定的模型。
• PDFO软件包成功将所有主要DFO求解器（包括COBYQA）集成到MATLAB和Python环境中，实现了广泛的可访问性和可复现性。
• COBYQA被证明是COBYLA的有力继承者，为通用无导数优化提供了更高的可靠性与效率。