[论文解读] Constrained Global Optimization by Smoothing

V. I. Norkin, Alois Pichler+1 more|arXiv (Cornell University)|Aug 16, 2023

Advanced Optimization Algorithms ResearchMathematics被引用 3

一句话总结

本文提出了一种新颖的随机连续平滑方法，用于非光滑和不连续函数的约束全局优化。通过结合精确罚函数处理约束并逐步降低平滑水平，该方法利用随机有限差分梯度下降实现全局收敛，在最大小多边形等基准问题上取得了高质量解。

ABSTRACT

This paper proposes a novel technique called "successive stochastic smoothing" that optimizes nonsmooth and discontinuous functions while considering various constraints. Our methodology enables local and global optimization, making it a powerful tool for many applications. First, a constrained problem is reduced to an unconstrained one by the exact nonsmooth penalty function method, which does not assume the existence of the objective function outside the feasible area and does not require the selection of the penalty coefficient. This reduction is exact in the case of minimization of a lower semicontinuous function under convex constraints. Then the resulting objective function is sequentially smoothed by the kernel method starting from relatively strong smoothing and with a gradually vanishing degree of smoothing. The finite difference stochastic gradient descent with trajectory averaging minimizes each smoothed function locally. Finite differences over stochastic directions sampled from the kernel estimate the stochastic gradients of the smoothed functions. We investigate the convergence rate of such stochastic finite-difference method on convex optimization problems. The "successive smoothing" algorithm uses the results of previous optimization runs to select the starting point for optimizing a consecutive, less smoothed function. Smoothing provides the "successive smoothing" method with some global properties. We illustrate the performance of the "successive stochastic smoothing" method on test-constrained optimization problems from the literature.

研究动机与目标

• 解决在一般（尤其是凸）约束下非光滑和不连续函数的全局优化问题，传统梯度方法在此类问题上失效。
• 开发一种方法，在对平滑近似函数使用局部优化技术的同时，仍保持全局搜索特性。
• 通过采用精确非光滑罚函数方法，消除对罚系数选择的需求。
• 通过在平滑函数上沿随机方向进行有限差分估计，实现高效的随机梯度优化。
• 在具有挑战性的测试问题（包括最大小多边形问题）上展示该方法的有效性。

提出的方法

• 使用不需调整罚系数的精确非光滑罚函数方法，将约束优化问题转化为无约束问题。
• 应用一系列基于核的平滑操作，从强平滑开始，逐步减小平滑参数以逼近原函数。
• 使用轨迹平均的有限差分随机梯度下降法，对每个平滑函数进行局部最小化。
• 通过从核分布中采样的随机方向上的有限差分，估计平滑函数的梯度。
• 利用先前优化运行的结果作为后续更少平滑问题的初始点，以提升收敛速度和全局探索能力。
• 采用 Gelfand-Zetlin-Nesterov 方法框架，但将局部下降替换为多步随机过程，以增强全局行为。

实验结果

研究问题

• RQ1 基于平滑的方法是否能在不依赖梯度或次梯度信息的情况下，实现对非光滑和不连续约束问题的全局优化？
• RQ2 与标准局部平滑相比，通过减小核带宽的连续平滑如何改善收敛至全局最小值的性能？
• RQ3 所提出的随机有限差分方法在凸约束问题上的收敛速率如何？
• RQ4 该方法在寻找非利普希茨和不连续函数的全局解方面，相较于现有局部方法的优越程度如何？
• RQ5 该方法在真实世界测试问题（如最大小多边形问题）上的有效性如何？

主要发现

• 该方法成功求解了 n=500 时的最大小多边形问题，获得最大面积 0.7588，接近理论极限值 0.7854。
• 对于 n=20，该方法在仅 500 次迭代和 132,264 次函数评估下，获得 0.7680 的解，接近理想值 0.7854。
• 该算法在框约束问题上表现出稳健性能，即使在大 n 情况下也能收敛至高质量解，表明其具备强大的全局搜索能力。
• 轨迹平均与随机方向采样相结合，实现了对非光滑函数的稳定且高效的梯度估计。
• 对随机有限差分方法的收敛速率进行了研究，结果表明其在凸问题上表现有效，支持理论合理性。
• 该方法在极少罚系数调优下即获得近似最优结果（如 n=4 时为 0.4994，理想值为 0.5000），验证了精确罚函数方法的有效性。