[论文解读] KKT Conditions, First-Order and Second-Order Optimization, and Distributed Optimization: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Oct 5, 2021

Sparse and Compressive Sensing Techniques参考文献 133被引用 20

一句话总结

本教程与综述全面概述了Karush-Kuhn-Tucker（KKT）条件、一阶与二阶优化方法以及分布式优化技术。系统地涵盖了理论基础、算法框架与实际实现，关键成果包括梯度方法的收敛速率分析以及障碍法中的对偶间隙边界。

ABSTRACT

This is a tutorial and survey paper on Karush-Kuhn-Tucker (KKT) conditions, first-order and second-order numerical optimization, and distributed optimization. After a brief review of history of optimization, we start with some preliminaries on properties of sets, norms, functions, and concepts of optimization. Then, we introduce the optimization problem, standard optimization problems (including linear programming, quadratic programming, and semidefinite programming), and convex problems. We also introduce some techniques such as eliminating inequality, equality, and set constraints, adding slack variables, and epigraph form. We introduce Lagrangian function, dual variables, KKT conditions (including primal feasibility, dual feasibility, weak and strong duality, complementary slackness, and stationarity condition), and solving optimization by method of Lagrange multipliers. Then, we cover first-order optimization including gradient descent, line-search, convergence of gradient methods, momentum, steepest descent, and backpropagation. Other first-order methods are explained, such as accelerated gradient method, stochastic gradient descent, mini-batch gradient descent, stochastic average gradient, stochastic variance reduced gradient, AdaGrad, RMSProp, and Adam optimizer, proximal methods (including proximal mapping, proximal point algorithm, and proximal gradient method), and constrained gradient methods (including projected gradient method, projection onto convex sets, and Frank-Wolfe method). We also cover non-smooth and $\ell_1$ optimization methods including lasso regularization, convex conjugate, Huber function, soft-thresholding, coordinate descent, and subgradient methods. Then, we explain second-order methods including Newton's method for unconstrained, equality constrained, and inequality constrained problems....

研究动机与目标

• 为研究人员和从业者提供一个统一且易于理解的基础优化理论与方法教程。
• 阐明KKT条件在约束优化中的作用及其与对偶性及对偶间隙的关联。
• 对比并分析一阶方法（如SGD、Adam）、二阶方法（如牛顿法、拟牛顿法）以及分布式算法（如ADMM）。
• 提出优化算法的收敛性保证及其实际变体，包括近端方法与随机方法。
• 通过严谨的数学推理推导关键结果，如收敛速率与对偶边界，弥合理论与实践的鸿沟。

提出的方法

• 通过拉格朗日对偶性推导KKT条件，包括原始/对偶可行性、互补松弛性与平稳性。
• 分析梯度下降及其变体（动量法、线搜索、回溯线搜索），并针对凸与光滑函数提供收敛性证明。
• 引入随机与加速的一阶方法，包括SGD、Adam以及方差减少方法（如SVRG）。
• 介绍近端方法（近端映射、近端梯度）用于非光滑优化，特别是L1正则化问题。
• 将牛顿法与拟牛顿法（BFGS、L-BFGS）应用于无约束与约束问题，采用Wolfe条件进行线搜索。
• 通过ADMM、对偶分解与增广拉格朗日法发展分布式优化，扩展至多变量与多约束场景。

实验结果

研究问题

• RQ1 KKT条件如何刻画约束优化问题中的最优性？
• RQ2 如梯度下降及其变体等一阶方法的收敛性质与收敛速率保证为何？
• RQ3 牛顿法与拟牛顿法等二阶方法相比一阶方法如何提升收敛速度？
• RQ4 对偶性与对偶间隙在障碍法与内点法中起何作用？
• RQ5 ADMM如何有效应用于具有多个变量与约束的分布式优化问题？

主要发现

• 采用回溯线搜索的梯度下降方法，对凸且L-利普希茨连续的函数，其收敛速率满足 $ f(\boldsymbol{x}^{(t+1)}) - f^* \leq \frac{2L\|\boldsymbol{x}^{(0)} - \boldsymbol{x}^*\|_2^2}{t+1} $。
• 对数障碍法的对偶间隙满足 $ f^* - \frac{m_1}{t} \leq f_r^* \leq f^* $，其中 $ m_1 $ 为不等式约束的数量。
• 乘子法（增广拉格朗日法）在较弱条件下可保证原始可行性与对偶收敛性。
• ADMM 对任意数量变量与约束的凸问题均收敛，其收敛性通过增广拉格朗日函数的交替最小化得以证明。
• 近端梯度方法可实现非光滑问题（如Lasso）的收敛，其中软阈值化即为L1范数的近端算子。
• 拟牛顿法如BFGS通过利用梯度差分近似海塞矩阵，实现超线性收敛。