[논문 리뷰] Semi-Smooth Second-order Type Methods for Composite Convex Programs

Xiantao Xiao, Yongfeng Li외 2명|arXiv (Cornell University)|2016. 03. 25.

Advanced Optimization Algorithms Research참고 문헌 50인용 수 4

한 줄 요약

이 논문은 FBS와 DRS와 같은 연산자 분할 기법에서 유도된 준연속 고정점 사상의 활용을 통해 복합 볼록 프로그래밍을 위한 적응형 준연속 뉴턴 및 레븐버그-마르카르트 방법을 제안한다. 초기 해가 최적해 근처에 위치할 경우 전역 수렴을 보장하며, 이는 2차 수렴 속도 또는 초선형 수렴 속도를 달성하여 제1차 및 제2차 방법 간 격차를 메운다.

ABSTRACT

The goal of this paper is to study approaches to bridge the gap between first-order and second-order type methods for composite convex programs. Our key observations are: i) Many well-known operator splitting methods, such as forward-backward splitting (FBS) and Douglas-Rachford splitting (DRS), actually define a possibly semi-smooth and monotone fixed-point mapping; ii) The optimal solutions of the composite convex program and the solutions of the system of nonlinear equations derived from the fixed-point mapping are equivalent. Solving the system of nonlinear equations rediscovers a paradigm on developing second-order methods. Although these fixed-point mappings may not be differentiable, they are often semi-smooth and its generalized Jacobian matrix is positive semidefinite due to monotonicity. By combining a regularization approach and a known hyperplane projection technique, we propose an adaptive semi-smooth Newton method and establish its convergence to global optimality. A semi-smooth Levenberg-Marquardt (LM) method in terms of handling the nonlinear least squares formulation is further presented. In practice, the second-order methods can be activated until the first-order type methods reach a good neighborhood of the global optimal solution. Preliminary numerical results on Lasso regression, logistic regression, basis pursuit, linear programming and quadratic programming demonstrate that our second-order type algorithms are able to achieve quadratic or superlinear convergence as long as the fixed-point residual of the initial point is small enough.

연구 동기 및 목표

• 복합 볼록 프로그래밍을 해결하는 데 있어 제1차 및 제2차 방법 간 격차를 해소하기 위해.
• FBS 및 DRS와 같은 연산자 분할 방법에서 유도되는 고정점 사상의 준연속성 및 단조성 특성을 활용하기 위해.
• 이러한 사상들에서 유도된 비선형 방정식계의 해를 푸는 방식으로 제2차 방법을 개발하여 빠른 국소 수렴을 달성하기 위해.
• 사상의 미분 가능성이 없음에도 불구하고 정규화 및 초평면 투영 기법을 사용하여 전역 수렴을 보장하기 위해.

제안 방법

• 앞뒤-뒤집기 또는 도울라스-라흐포드 분할을 사용하여 복합 볼록 프로그래밍을 고정점 문제로 재구성함으로써, 가능하게 준연속 단조 사상이 도출된다.
• 원래 문제의 최적해와 도출된 비선형 방정식계의 해 사이의 등가성을 확립한다.
• 비미분 가능성 문제를 다루기 위해 정규화 기법을 적용하고, 단조성에 기반해 양의 준정부정 행렬이 되는 일반화된 자코비안을 구성한다.
• 초평면 투영을 사용하여 전역 해로의 수렴을 보장하는 적응형 준연속 뉴턴 방법을 개발한다.
• 고정점 사상계의 비선형 최소제곱 형식을 위해 특화된 준연속 레븐버그-마르카르트 방법을 도입한다.
• 첫 번째 단계의 반복값이 고정점 잔여항이 작은 이웃 영역에 진입할 때에만 제2차 방법을 활성화하여 효율성과 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 표준 연산자 분할 방법에서 유도된 고정점 사상은 복합 볼록 프로그래밍을 위한 효과적인 제2차 방법 설계에 활용될 수 있는가?
• RQ2 이러한 고정점 사상의 비미분 가능성 문제는 수렴 보장을 유지하면서 어떻게 해결할 수 있는가?
• RQ3 제안된 제2차 방법에서 2차 또는 초선형 수렴을 보장하는 조건은 무엇인가?
• RQ4 실제 응용에서 제1차 방법에서 제2차 방법으로의 전환을 적응적으로 관리하는 방법은 무엇인가?

주요 결과

• 복합 볼록 프로그래밍의 최적해는 고정점 사상에서 유도된 비선형 방정식계의 해와 동치이다.
• 고정점 사상은 준연속적이며 단조적이며, 일반화된 자코비안은 양의 준정부정성을 띤다. 이는 제2차 방법의 적용 가능성을 보장한다.
• 적응형 준연속 뉴턴 방법은 전역적으로 최적해로 수렴하며, 초기 고정점 잔여항이 작을 경우 2차 또는 초선형 수렴 속도를 달성한다.
• 준연속 레븐버그-마르카르트 방법은 고정점 사상계의 비선형 최소제곱 형식을 해결하는 데 있어 강건한 대안을 제공한다.
• 라소, 로지스틱 회귀, 베이시스 퍼뷰스트, 선형 프로그래밍, 그리고 이차 프로그래밍에 대한 초기 수치적 결과는 유리한 초기화 조건 하에서 빠른 국소 수렴을 확인한다.
• 제2차 성능는 제1차 반복값이 해에 충분히 가까워질 때에만 효과적으로 활성화되며, 이는 강건성과 효율성의 균형을 이룬다.