[论文解读] A Simple Adaptive Step-size Choice for Iterative Optimization Methods

I. V. Konnov|arXiv (Cornell University)|Jan 31, 2018

Matrix Theory and Algorithms参考文献 12被引用 4

一句话总结

本文提出了一种用于迭代优化方法的简单自适应步长程序，消除了对线搜索和先验知识（如Lipschitz常数）的需求。通过使用一个主要步长序列并在未达到充分下降时才进行更新，该方法在温和假设下确保了非光滑和非凸问题的收敛性，计算实验验证了其相对于传统线搜索方法的高效性。

ABSTRACT

We suggest a simple adaptive step-size procedure, which does not require any line-search, for a general class of nonlinear optimization methods and prove convergence of a general method under mild assumptions. In particular, the goal function may be non-smooth and non-convex. Unlike the descent line-search methods, it does not require monotone decrease of the goal function values along the iteration points and reduces the implementation cost of each iteration essentially. The key element of this procedure consists in inserting a majorant step-size sequence such that the next element is taken only if the current iterate does not give a sufficient descent. Its applications yield in particular a new gradient projection method for smooth constrained optimization problems and a new projection type method for minimization of the gap function of a general variational inequality. Preliminary results of computational experiments confirm efficiency of the proposed modification.

研究动机与目标

• 开发一种步长选择策略，以避免在迭代优化方法中进行代价高昂的线搜索。
• 在不依赖梯度Lipschitz连续性的情况下，实现非光滑和非凸优化问题的收敛。
• 通过消除辅助最小化子问题，降低每次迭代的计算成本。
• 为约束优化和变分不等式提供统一的适用框架。
• 通过在光滑和非光滑问题上的计算实验验证该方法的效率。

提出的方法

• 该方法采用一个递减至零的主要步长序列，作为可接受步长的上界。
• 在每次迭代中，仅当当前迭代点未能实现充分下降时，才选择下一个步长，该选择基于涉及目标函数的下降条件。
• 自适应规则根据迭代点的实际进展动态调整步长，避免使用固定或单调递减的序列。
• 该框架适用于一般迭代方法，包括投影型和梯度投影方法，在温和的强制性假设下适用。
• 该方法嵌入一个通用收敛定理中，适用于光滑和非光滑问题，包括通过间隙函数最小化处理的变分不等式。
• 该方法无需梯度Lipschitz常数或精确线搜索，而是依赖于下降监测。

实验结果

研究问题

• RQ1 能否设计一种步长规则，在避免线搜索的同时，确保非光滑和非凸问题的收敛性？
• RQ2 如何在不依赖先验知识（如Lipschitz常数）的情况下，使自适应步长选择具有鲁棒性？
• RQ3 非单调函数值下降对迭代优化中的收敛性和效率有何影响？
• RQ4 该自适应策略能否推广至不同类别的优化问题，包括变分不等式？
• RQ5 在迭代次数和函数评估次数方面，该方法与标准线搜索方法相比在计算上表现如何？

主要发现

• 所提出的自适应步长规则在温和的强制性条件下，无需梯度Lipschitz连续性，即可实现非光滑和非凸优化问题的收敛。
• 通过消除线搜索，该方法显著降低了每次迭代的计算成本，计算结果证实其函数评估次数少于基于线搜索的对应方法。
• 在凸优化测试中，所提出的方法（GPMS）在所有测试案例中平均比基于Armijo的方法（GPMA）减少了26%至50%的函数评估次数。
• 对于变分不等式问题，自适应方法（GFPMS）在n=1000时仅需45至97次函数评估即可收敛，优于基于Armijo的方法（GFPMA），在迭代次数和函数调用次数上均表现更优。
• 该方法在大规模问题（n=1000）中表现出鲁棒性和快速收敛性，GFPMS仅需716次函数评估即可收敛。
• GPMD变体在n>5时表现出极慢的收敛速度，凸显了所提出的自适应策略相对于固定或递减步长规则的优势。