[논문 리뷰] Strong Metric (Sub)regularity of KKT Mappings for Piecewise Linear-Quadratic Convex-Composite Optimization

James V. Burke, Abraham Engle|arXiv (Cornell University)|2018. 05. 03.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 7

한 줄 요약

이 논문은 조각별로 선형-이차형(PLQ) 볼록 복합 최적화 문제에서 카루시-쿠른-타커(Karush-Kuhn-Tucker, KKT) 매핑에 대해 강한 메트릭 부분정규성 및 정규성 조건을 확립하여, 비선형 프로그래밍과 유사한 조건 하에서 뉴턴 및 준뉴턴 방법의 국소 이차수 수렴을 가능하게 한다. 분석은 일반화된 방정식과 활성 다양체 식별을 통해 유한값 함수를 초월하는 더 넓은 PLQ 클래스로 이차수 수렴 이론을 확장한다.

ABSTRACT

This work concerns the local convergence theory of Newton and quasi-Newton methods for convex-composite optimization: minimize f(x):=h(c(x)), where h is an infinite-valued proper convex function and c is C^2-smooth. We focus on the case where h is infinite-valued piecewise linear-quadratic and convex. Such problems include nonlinear programming, mini-max optimization, estimation of nonlinear dynamics with non-Gaussian noise as well as many modern approaches to large-scale data analysis and machine learning. Our approach embeds the optimality conditions for convex-composite optimization problems into a generalized equation. We establish conditions for strong metric subregularity and strong metric regularity of the corresponding set-valued mappings. This allows us to extend classical convergence of Newton and quasi-Newton methods to the broader class of non-finite valued piecewise linear-quadratic convex-composite optimization problems. In particular we establish local quadratic convergence of the Newton method under conditions that parallel those in nonlinear programming when h is non-finite valued piecewise linear.

연구 동기 및 목표

• 복합 함수 h가 무한값을 가질 수 있는 조각별 선형-이차형(PLQ)이고 볼록인 복합 최적화 문제에 대해 뉴턴 및 준뉴턴 방법의 국소 수렴 이론을 확장하는 것.
• KKT 매핑이 강하게 메트릭적으로 부분정규적이고 정규적이 되는 조건을 확립하여 빠른 국소 수렴을 보장하는 것.
• 고전적 비선형 프로그래밍 수렴 결과와 유한값이 아닌 PLQ 함수 간 격차를 일반화된 방정식과 활성 다각형의 구조를 활용해 메우는 것.
• 로버스트 회귀, 비정규 분포 추정, 기계학습과 같은 현대 최적화 문제에서 이차수 방법의 이론적 기반을 제공하는 것.

제안 방법

• 최적성 조건을 g(x,y) + G(x,y) ∋ 0 형태의 일반화된 방정식에 통합하며, 여기서 g는 C¹-연속이고 G는 다중값 함수이다.
• 라그랑주 구조에서 유도된 KKT 행렬 ∇g(x,y)를 사용하여 일반화된 방정식의 선형화를 통해 뉴턴 반복을 정의한다.
• 국소 수렴 행동을 분석하기 위해 강한 메트릭 부분정규성 및 정규성 등의 변분해석 도구를 적용한다.
• 로카펠라의 부분 스무스성 및 활성 다각형 이론을 활용하여 dom(h)의 기하학적 구조를 기술하고 활성 집합의 구조를 식별한다.
• 라그랑주 행렬의 헤시안과 활성 다각형의 곡률에 대해 이차 충분조건을 도입하여 국소 유일성과 빠른 수렴을 보장한다.
• KKT 매핑이 해에서 강하게 메트릭적으로 부분정규적일 경우, 뉴턴 반복이 이차수로 수렴함을 입증한다.

실험 결과

연구 질문

• RQ1 PLQ-볼록 복합 최적화 문제에서 KKT 매핑이 언제 강하게 메트릭적으로 부분정규적인가?
• RQ2 고전적 비선형 프로그래밍과 유사하게, 무한값을 가질 수 있는 비유한값 PLQ 함수에 대해 뉴턴 방법의 국소 이차수 수렴을 확립할 수 있는가?
• RQ3 PLQ 함수 h의 활성 다각형 구조가 이차수 방법의 정규성과 수렴에 어떤 영향을 미치는가?
• RQ4 일반화된 방정식 프레임워크는 다양한 복합 최적화 문제 클래스 간 수렴 분석을 통합하는 데 어떤 역할을 하는가?

주요 결과

• 이차 충분조건이 성립하고 활성 다각형이 부분 스무스할 경우, KKT 매핑은 해에서 강하게 메트릭적으로 부분정규적이다.
• KKT 매핑이 강하게 메트릭적으로 부분정규적일 경우, 뉴턴 방법의 국소 이차수 수렴이 달성되며, 이는 비선형 프로그래밍의 조건과 유사한 조건 하에서 성립한다.
• 뉴턴 반복은 선형화된 일반화된 방정식 g(x^k,y^k) + ∇g(x^k,y^k)(x^{k+1}-x^k, y^{k+1}-y^k) = 0을 푸는 것으로 표현되며, 이는 빠른 국소 수렴을 보장한다.
• h가 조각별 선형일 경우(PLQ의 특수한 경우), Womersley(1988)의 결과를 회복하지만, 이제는 비유한값 설정으로 확장된다.
• 헤시안 행렬이 활성 다각형의 탄젠트 공간에서 양의 정부호일 경우, 뉴턴 방법은 해의 근처에서 이차수로 수렴함을 분석이 보여준다.
• 활성 다각형의 구조가 국소적으로 유지된다면, h가 무한값을 가질지라도 방법은 여전히 잘 정의되고 수렴한다.