[논문 리뷰] KKT Conditions, First-Order and Second-Order Optimization, and Distributed Optimization: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi외 2명|arXiv (Cornell University)|2021. 10. 05.

Sparse and Compressive Sensing Techniques참고 문헌 133인용 수 20

한 줄 요약

이 튜토리얼 및 서베이는 카루시-쿠른-타커(Karush-Kuhn-Tucker, KKT) 조건, 일阶 및 이阶 최적화 방법, 분산 최적화 기법에 대한 종합적인 개요를 제공한다. 이는 이론적 기초, 알고리즘 프레임워크, 실용적 구현을 체계적으로 다루며, 주요 결과로는 경사 하강법의 수렴 속도 분석과 바리어 방법에서의 이중성 갭 경계를 포함한다.

ABSTRACT

This is a tutorial and survey paper on Karush-Kuhn-Tucker (KKT) conditions, first-order and second-order numerical optimization, and distributed optimization. After a brief review of history of optimization, we start with some preliminaries on properties of sets, norms, functions, and concepts of optimization. Then, we introduce the optimization problem, standard optimization problems (including linear programming, quadratic programming, and semidefinite programming), and convex problems. We also introduce some techniques such as eliminating inequality, equality, and set constraints, adding slack variables, and epigraph form. We introduce Lagrangian function, dual variables, KKT conditions (including primal feasibility, dual feasibility, weak and strong duality, complementary slackness, and stationarity condition), and solving optimization by method of Lagrange multipliers. Then, we cover first-order optimization including gradient descent, line-search, convergence of gradient methods, momentum, steepest descent, and backpropagation. Other first-order methods are explained, such as accelerated gradient method, stochastic gradient descent, mini-batch gradient descent, stochastic average gradient, stochastic variance reduced gradient, AdaGrad, RMSProp, and Adam optimizer, proximal methods (including proximal mapping, proximal point algorithm, and proximal gradient method), and constrained gradient methods (including projected gradient method, projection onto convex sets, and Frank-Wolfe method). We also cover non-smooth and $\ell_1$ optimization methods including lasso regularization, convex conjugate, Huber function, soft-thresholding, coordinate descent, and subgradient methods. Then, we explain second-order methods including Newton's method for unconstrained, equality constrained, and inequality constrained problems....

연구 동기 및 목표

• 연구자 및 실무자들이 기초 최적화 이론과 방법을 통합적이고 접근 가능한 방식으로 이해할 수 있도록 돕는 것.
• 제약 최적화 문제에서 KKT 조건의 역할과 이중성 및 이중성 갭과의 관계를 명확히 하는 것.
• SGD, Adam 등의 일계 방법, 뉴턴, 쿼아-뉴턴 등의 이계 방법, ADMM 등의 분산 알고리즘 간의 비교 및 대비를 제공하는 것.
• 프록시멀 및 스토하스틱 방법을 포함한 최적화 알고리즘의 수렴 보장 및 실용적 변형을 제시하는 것.
• 엄밀한 수학적 추론을 통해 수렴 속도 및 이중성 경계와 같은 핵심 결과를 도출함으로써 이론과 실천을 연결하는 것.

제안 방법

• 라그랑주 이중성에 기반해 KKT 조건을 유도하며, 원래 문제의 타당성, 이중 문제의 타당성, 보완성 조건, 정류성 조건을 포함한다.
• 볼록이고 미분 가능한 함수에 대해 수렴 증명이 포함된 경사 하강법 및 그 변형(모멘텀, 선형 탐색, 백트래킹)을 분석한다.
• 스토하스틱 및 가속화된 일계 방법을 소개하며, SGD, Adam, SVRG와 같은 분산 감소 방법을 포함한다.
• 비미분 가능 최적화를 위한 프록시멀 방법(프록시멀 사상, 프록시멀 경사)을 제안하며, 특히 L1-정규화 문제에 초점을 맞춘다.
• 뉴턴 방법과 쿼아-뉴턴 방법(BFGS, L-BFGS)을 비제약 및 제약 최적화 문제에 적용하며, 월프 조건을 통한 선형 탐색을 포함한다.
• ADMM, 이중 분해, 보완 라그랑주를 통해 분산 최적화를 개발하며, 다중 변수 및 다중 제약 조건 설정으로의 확장을 다룬다.

실험 결과

연구 질문

• RQ1 KKT 조건은 제약 최적화 문제에서 최적성의 특성을 어떻게 기술하는가?
• RQ2 경사 하강법 및 그 변형과 같은 일계 방법의 수렴 성질과 수렴 속도 보장은 무엇인가?
• RQ3 뉴턴 및 쿼아-뉴턴 방법과 같은 이계 방법은 일계 접근 방식에 비해 수렴 속도를 어떻게 향상시키는가?
• RQ4 바리어 방법과 내부점 방법에서 이중성과 이중성 갭은 어떤 역할을 하는가?
• RQ5 다중 변수 및 제약 조건이 있는 분산 최적화에 대해 ADMM를 효과적으로 적용하는 방법은 무엇인가?

주요 결과

• 백트래킹 선형 탐색을 사용한 경사 하강법은 볼록이고 L-리프시츠 스무스 함수에 대해 수렴 속도가 $ f(\boldsymbol{x}^{(t+1)}) - f^* \leq \frac{2L\|\boldsymbol{x}^{(0)} - \boldsymbol{x}^*\|_2^2}{t+1} $ 를 만족한다.
• 로그-바리어 방법의 이중성 갭은 $ f^* - \frac{m_1}{t} \leq f_r^* \leq f^* $ 로 경계되며, 여기서 $ m_1 $ 은 부등식 제약 조건의 수이다.
• 승수 방법(augmented Lagrangian)은 온건한 조건 하에서 원래 문제의 타당성과 이중 수렴성을 보장한다.
• ADMM는 임의의 수의 변수와 제약 조건이 있는 볼록 문제에 대해 수렴하며, 보완 라그랑주 함수의 교대 최소화를 통해 수렴성이 입증된다.
• 프록시멀 경사 방법은 Lasso와 같은 비미분 가능 문제에 대해 수렴하며, 소프트 스위칭은 L1 노름의 프록시멀 연산자이다.
• BFGS와 같은 쿼아-뉴턴 방법은 기울기의 차이를 이용해 헤시안을 근사함으로써 초선형 수렴을 달성한다.