[论文解读] Cutting plane oracles for non-smooth trust-regions

Dominikus Noll|arXiv (Cornell University)|May 16, 2019

Advanced Optimization Algorithms Research参考文献 38被引用 4

一句话总结

本文提出了一种统一的收敛性框架，用于非光滑信赖域方法，使用满足四个基本规则的切平面预言机。通过建立严格的模型条件并扩展收敛性理论，超越了以往假设（如需要正定的二阶项），该框架证明了对一大类方法（包括下移切线法和分裂技术）的全局收敛性至临界点。

ABSTRACT

We prove global convergence of a bundle trust region algorithm for non-smooth non-convex optimization, where cutting planes are generated by oracles respecting four basic rules. The benefit is that convergence theory applies to a large variety of methods encountered in practice. This includes in particular the method of downshifted tangents, for which previously no convergence result in the trust region framework was known. We also show that certain splitting techniques can be seen as special cases of bundle trust region techniques.

研究动机与目标

• 建立使用一般类切平面预言机的非光滑信赖域算法的全局收敛性。
• 解决一个开放问题：凸集捆绑方法中的聚合技术是否可应用于非凸信赖域设置。
• 证明此前在信赖域中缺乏收敛性证明的下移切线法，可被所提出的框架涵盖。
• 证明经典信赖域方法和分裂技术（如前向后向分裂）是所提出的基于预言机框架的特例。
• 证明先前收敛性证明中对正定二阶项的假设是必要的，无法被移除。

提出的方法

• 该方法使用切平面预言机，通过在试验点处的切线或次梯度生成目标函数的局部模型。
• 定义了预言机的四个基本规则，以确保收敛性，包括与目标函数次微分的一致性及适当的模型构建。
• 信赖域算法累积失败（空）步骤的切平面，以改进工作模型并指导下一次严肃迭代。
• 收敛性要求严格的模型，定义为在当前迭代点附近以足够精度近似目标函数的模型。
• 该框架允许基于模型的预言机和所有切线预言机（包含邻域内所有次梯度），以确保鲁棒性。
• 通过证明所有严肃迭代的聚点均为满足 0 ∈ ∂f(x*) + N_C(x*) 的临界点，从而证明收敛性。

实验结果

研究问题

• RQ1 能否为使用一般类切平面预言机的非光滑信赖域方法建立全局收敛性？
• RQ2 下移切线法在信赖域框架内是否具有全局收敛性，且是否满足所提出的预言机规则？
• RQ3 凸集捆绑方法中的聚合技术能否在不增加额外假设的前提下扩展至非凸信赖域设置？
• RQ4 先前收敛性证明中对正定二阶项的假设是否必要，还是可以被移除？
• RQ5 经典信赖域方法和如前向后向分裂等分裂技术是否为所提出基于预言机框架的特例？

主要发现

• 证明了所有满足四个定义规则的切平面预言机的信赖域算法均具有全局收敛性，确保所有聚点为临界点。
• 正式确立了下移切线法在信赖域框架下的全局收敛性，解决了此前未解的问题。
• 凸集捆绑方法中使用的聚合技术可扩展至非凸信赖域，但仅在严格模型条件下成立。
• 先前收敛性证明中对正定二阶项的假设被证明是本质性的，无法被移除。
• 经典信赖域方法和前向后向分裂被证明是所提框架的特例，其收敛性取决于预言机的严格性。
• 所有切线预言机（包含邻域内所有次梯度）可确保全局收敛性，并将许多现有方法统一于单一理论框架之下。