[论文解读] Inexact Sequential Quadratic Optimization for Minimizing a Stochastic Objective Function Subject to Deterministic Nonlinear Equality Constraints

Frank E. Curtis, Daniel P. Robinson+1 more|arXiv (Cornell University)|Jul 7, 2021

Stochastic Gradient Optimization Techniques参考文献 39被引用 4

一句话总结

本文提出了一种不精确随机序列二次优化（SISQO）算法，用于在仅能获得噪声梯度估计的情况下，最小化具有确定性非线性等式约束的随机目标函数。通过允许使用MINRES等迭代线性求解器求解子问题的不精确解，该方法在保持期望收敛性的同时降低了计算成本，在数值实验中优于精确子问题求解方法。

ABSTRACT

An algorithm is proposed, analyzed, and tested experimentally for solving stochastic optimization problems in which the decision variables are constrained to satisfy equations defined by deterministic, smooth, and nonlinear functions. It is assumed that constraint function and derivative values can be computed, but that only stochastic approximations are available for the objective function and its derivatives. The algorithm is of the sequential quadratic optimization variety. A distinguishing feature of the algorithm is that it allows inexact subproblem solutions to be employed, which is particularly useful in large-scale settings when the matrices defining the subproblems are too large to form and/or factorize. Conditions are imposed on the inexact subproblem solutions that account for the fact that only stochastic objective gradient estimates are available. Convergence results in expectation are established for the method. Numerical experiments show that it outperforms an alternative algorithm that employs highly accurate subproblem solutions in every iteration.

研究动机与目标

• 开发一种高效算法，用于求解在仅能获得噪声梯度估计时的具有确定性非线性等式约束的随机优化问题。
• 将序列二次规划（SQP）方法扩展至具有不精确子问题解的随机设置，提升大规模问题的可扩展性。
• 在针对随机梯度近似设计的不精确性条件下，建立期望收敛性。
• 通过实证表明，在迭代次数和计算成本方面，不精确子问题解相比精确解能实现更优的整体性能。
• 提供一种实用算法，在每轮迭代成本与全局收敛性之间实现平衡，适用于涉及不确定性和约束的实际应用场景。

提出的方法

• 该算法使用序列二次规划（SQP）求解具有确定性非线性等式约束的随机优化问题。
• 对目标函数及其导数使用随机梯度估计，而约束函数及其导数则精确计算。
• 允许对二次子问题采用不精确解，并调整收敛条件以适应随机梯度噪声。
• 使用迭代线性求解器（如MINRES）求解每个SQP子问题中出现的不定线性系统，避免完整的矩阵分解。
• 施加依赖于随机梯度噪声水平的不精确性容差，确保向最优解的充分进展。
• 通过在增广函数上进行线搜索以确定步长，在适当条件下保持全局收敛性。

实验结果

研究问题

• RQ1 能否为具有确定性非线性等式约束的随机优化问题设计并分析一种不精确SQP方法？
• RQ2 在仅能获得随机梯度的情况下，对不精确子问题解施加何种条件可确保期望收敛性？
• RQ3 在大规模设置下，允许不精确子问题解是否能带来相比精确子问题解更优的整体性能？
• RQ4 不精确性容差与随机梯度估计的噪声水平之间有何关系？
• RQ5 所提方法在总计算成本和收敛速度方面能否优于精确子问题求解器？

主要发现

• 尽管进行了更多外层迭代，SISQO在平均可行性和平稳性误差方面优于精确子问题变体（SISQO_exact）。
• 对于问题（47），当εN = 10⁻⁴时，SISQO将可行性误差降低了90%以上，每轮外层迭代使用8.9次MINRES迭代。
• 对于问题（48），SISQO实现1.68×10⁻⁷的可行性误差，每轮外层迭代使用14.5次MINRES迭代，而SISQO_exact的可行性误差为1.31×10⁻⁵。
• 在所有测试案例中，SISQO所需的MINRES总迭代次数均少于SISQO_exact，表明其在求解线性系统方面更具效率。
• 该方法在针对随机梯度噪声设计的不精确性条件下保持了期望收敛性，与精确方法的理论保证一致。
• 数值结果表明，不精确性在每轮迭代成本与全局收敛性之间实现了更优的权衡，尤其在大规模问题中表现突出。