[論文レビュー] KKT Conditions, First-Order and Second-Order Optimization, and Distributed Optimization: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Oct 5, 2021

Sparse and Compressive Sensing Techniques参考文献 133被引用数 20

ひとこと要約

このチュートリアルおよびサーベイは、カーラッシュ＝クーン＝タッカー（KKT）条件、一次および二次の最適化手法、分散最適化技術について包括的な概要を提供する。理論的基盤、アルゴリズムフレームワーク、実装の各側面を体系的にカバーし、勾配法の収束速度解析やバリア法における双対ギャップの境界といった主要な結果を含む。

ABSTRACT

This is a tutorial and survey paper on Karush-Kuhn-Tucker (KKT) conditions, first-order and second-order numerical optimization, and distributed optimization. After a brief review of history of optimization, we start with some preliminaries on properties of sets, norms, functions, and concepts of optimization. Then, we introduce the optimization problem, standard optimization problems (including linear programming, quadratic programming, and semidefinite programming), and convex problems. We also introduce some techniques such as eliminating inequality, equality, and set constraints, adding slack variables, and epigraph form. We introduce Lagrangian function, dual variables, KKT conditions (including primal feasibility, dual feasibility, weak and strong duality, complementary slackness, and stationarity condition), and solving optimization by method of Lagrange multipliers. Then, we cover first-order optimization including gradient descent, line-search, convergence of gradient methods, momentum, steepest descent, and backpropagation. Other first-order methods are explained, such as accelerated gradient method, stochastic gradient descent, mini-batch gradient descent, stochastic average gradient, stochastic variance reduced gradient, AdaGrad, RMSProp, and Adam optimizer, proximal methods (including proximal mapping, proximal point algorithm, and proximal gradient method), and constrained gradient methods (including projected gradient method, projection onto convex sets, and Frank-Wolfe method). We also cover non-smooth and $\ell_1$ optimization methods including lasso regularization, convex conjugate, Huber function, soft-thresholding, coordinate descent, and subgradient methods. Then, we explain second-order methods including Newton's method for unconstrained, equality constrained, and inequality constrained problems....

研究の動機と目的

• 研究者および実務家向けに、最適化理論および手法の基礎を統合的かつアクセスしやすい形で提供すること。
• 制約付き最適化におけるKKT条件の役割と、双対性および双対ギャップとの関連を明確にすること。
• 勾配降下法（例：SGD、Adam）などの一次手法、ニュートン法や準ニュートン法（例：BFGS）などの二次手法、ADMM（例）などの分散アルゴリズムを比較・対比すること。
• 収束保証と実用的変種（正則化付きおよび確率的最適化手法を含む）の最適化アルゴリズムを提示すること。
• 厳密な数学的推論を用いて収束速度や双対境界といった重要な結果を導出し、理論と実践を橋渡しすること。

提案手法

• ラグランジュの双対性を用いてKKT条件を導出する。具体的には、プライム／双対の妥当性、相補性スラックネス、最適性の条件を含む。
• 凸かつ滑らかな関数に対して、勾配降下法およびその変種（モーメンタム、ラインサーチ、バックトラッキング）の収束証明を分析する。
• 確率的および加速付き一次手法（例：SGD、Adam、およびバリアンス低減手法（例：SVRG））を導入する。
• 非滑らかな最適化、特にL1正則化問題に対して、プロキシマル手法（プロキシマル写像、プロキシマル勾配）を提示する。
• ニュートン法および準ニュートン法（BFGS、L-BFGS）を非制約および制約付き問題に適用し、Wolfeの条件に基づくラインサーチを用いる。
• ADMM、双対分解、拡張ラグランジュを用いた分散最適化を展開し、多変数および多制約設定への拡張を含む。

実験結果

リサーチクエスチョン

• RQ1 KKT条件は、制約付き最適化問題における最適性をどのように特徴付けるか？
• RQ2 勾配降下法およびその変種のような一次手法の収束特性と収束速度の保証は何か？
• RQ3 ニュートン法や準ニュートン法といった二次手法は、一次手法と比較して収束速度をどのように向上させるか？
• RQ4 バリア法および内点法における双対性と双対ギャップの役割は何か？
• RQ5 複数の変数および制約を持つ分散最適化にADMMを効果的に適用する方法は何か？

主な発見

• バックトラッキングラインサーチを用いた勾配降下法は、凸かつLスムーズ関数に対して、収束速度 $ f(\boldsymbol{x}^{(t+1)}) - f^* \leq \frac{2L\|\boldsymbol{x}^{(0)} - \boldsymbol{x}^*\|_2^2}{t+1} $ を達成する。
• 対数バリア法における双対ギャップは、$ f^* - \frac{m_1}{t} \leq f_r^* \leq f^* $ で有界であり、$ m_1 $ は不等式制約の数を表す。
• メソッド・オブ・マルティプレイヤー（拡張ラグランジュ）は、緩い条件下でもプライムの妥当性と双対収束を保証する。
• ADMMは任意の変数および制約数を持つ凸問題に対して収束し、拡張ラグランジュの交互最小化によって収束が確立される。
• プロキシマル勾配法は、Lassoのような非滑らかな問題に対しても収束を達成し、L1ノルムのプロキシマル作用素としてソフトスレッショングが用いられる。
• BFGSなどの準ニュートン法は、勾配の差分を用いてヘッシアンを近似することで、超線形収束を達成する。