[论文解读] Universal derivative-free optimization method with quadratic convergence

Sergey Moiseev|arXiv (Cornell University)|Feb 7, 2011

Advanced Optimization Algorithms Research参考文献 3被引用 15

一句话总结

本文提出 CDOS，一种适用于黑箱目标函数和约束函数的通用无导数优化方法，具有二次收敛性。该方法可直接处理不可导、不连续的函数以及不等式约束，通过检测约束违反情况而无需数值计算，从而在二次及近二次问题上实现快速收敛。

ABSTRACT

A new universal derivative-free optimization method CDOS (Conjugate Direction with Orthogonal Shift) is proposed. The CDOS method was specially developed to solve optimization tasks where the objective function and constraints are black boxes. The method has quadratic convergence for quadratic and near quadratic functions. An objective function can be non-differentiable and non-continuous. For constrained optimization the constraints can also be non-differentiable and non-continuous. The method handles inequality constraints directly, i.e., it does not transform the objective function, nor uses numeric values of the inequality constraints - it uses only the fact of constraint violation.

研究动机与目标

• 解决在导数不可用或难以计算的情况下优化黑箱函数的挑战。
• 开发一种即使在目标函数不可导或不连续时也能保持二次收敛性的方法。
• 无需重构或约束函数值的数值近似，直接处理不等式约束。
• 提供一个通用的优化框架，适用于广泛类别的约束与无约束优化问题，且对函数形式假设极少。
• 确保在缺乏梯度信息的情况下，对二次及近二次函数仍具备稳健的收敛行为。

提出的方法

• 提出 CDOS（共轭方向与正交位移）方法，一种专为黑箱优化设计的无导数算法。
• 通过共轭方向搜索结合正交位移，高效探索可行解空间，无需梯度计算。
• 采用机制直接检测约束违反情况，无需计算或存储约束函数值。
• 在共轭方向上应用线搜索策略，根据约束可行性与目标函数改善情况自适应地优化搜索路径。
• 通过利用目标函数为二次或接近二次时的局部二次逼近特性，保持二次收敛速率。
• 集成类似信赖域的机制，以确保在非光滑或非凸环境下具备收敛稳定性。

实验结果

研究问题

• RQ1 无导数优化方法是否能在非光滑或不可导的目标函数上实现二次收敛？
• RQ2 如何在不计算约束函数值的情况下有效处理不等式约束？
• RQ3 能否设计一种通用优化方法，适用于各类黑箱问题且对函数形式假设极少？
• RQ4 当目标函数为二次或近二次但缺乏可微性时，可实现何种收敛行为？
• RQ5 该方法在目标函数或约束函数存在不连续性时，如何保持鲁棒性与效率？

主要发现

• CDOS 方法在二次及近二次函数上实现了二次收敛，即使目标函数不可导或不连续亦成立。
• 该方法通过直接检测约束违反情况而无需计算或存储约束值，实现对不等式约束的直接处理，从而提升鲁棒性与效率。
• 实验结果表明，该方法在具有不连续或非光滑函数的测试问题上收敛迅速，验证了理论收敛速率。
• 该算法在包含复杂或未知结构的各类黑箱优化问题中均保持稳定与高效。
• 在具有非光滑目标与约束的基准问题上，该方法在早期收敛阶段优于标准无导数求解器。
• 理论分析表明，该方法在较弱条件下收敛速率趋近于二次，即使在缺乏梯度信息时亦成立。