[논문 리뷰] First-Order Primal-Dual Method for Nonlinear Convex Cone Programming

Lei Zhao, Daoli Zhu|arXiv (Cornell University)|2017. 12. 31.

Sparse and Compressive Sensing Techniques참고 문헌 76인용 수 3

한 줄 요약

이 논문은 매끄럽거나 비매끄러운 목적함수와 제약조건을 가진 비선형 볼록 코너 프로그래밍(NCCP) 문제를 위한 1차 원-이중 알고리즘인 변형 보조문제 원리(VAPP)를 제안한다. 보조문제 원리의 프레임워크 안에서 선형화와 가변 거리 유사 함수를 조합함으로써, 일반 볼록 케이스에서는 원변수의 부적합성, 타당성, 이중변수의 부적합성에 대해 O(1/t) 수렴 속도를 달성하고, 강한 볼록성 조건 하에서는 O(1/t²) 수렴 속도를 확보한다. 이는 검증 가능한 오차 경계 조건과 전진-후진 분할 방법(FBS)과의 연결고리를 포함한다.

ABSTRACT

Nonlinear Convex Cone Programming (NCCP) problems are important and have many practical applications. In this paper, we introduces a flexible first-order primal-dual algorithm called the Variant Auxiliary Problem Principle (VAPP) for solving NCCP problems when the objective function and constraints are smooth and may be nonsmooth. Each iteration of VAPP generates a nonlinear approximation to the primal problem of an augmented Lagrangian method. The approximation incorporates both linearization and a variable distance-like function, and then the iterations of VAPP provide one decomposition property for NCCP. Motivated by recent applications in big data analysis, there has been an explosive growth in interest in the convergence rate analysis of parallel computing algorithms for large scale optimization problem. This paper proposes an iteration-based error bound and linear convergence of VAPP. Some verifiable sufficient conditions of this error bound are also discussed. For the general convex case (without error bound), we establish $O(1/t)$ convergence rate for primal suboptimality, feasibility and dual suboptimality. By adaptively setting in parameters at different iterations, we show an $O(1/t^2)$ rate for the strongly convex case. We further present Forward-Backward Splitting (FBS) formulation of VAPP method and establish the connection between VAPP and other primal-dual splitting methods. Finally, we discuss some issues in the implementation of VAPP.

연구 동기 및 목표

• 비매끄러운 성분을 포함한 비선형 볼록 코너 프로그래밍(NCCP) 문제를 해결하기 위한 유연한 1차 원-이중 알고리즘을 개발하는 것.
• 일般 볼록 케이스에서 원변수의 부적합성, 타당성, 이중변수의 부적합성에 대한 수렴 속도를 확립하는 것.
• 적응형 매개변수 선택을 통해 강한 볼록성 조건 하에서 개선된 O(1/t²) 수렴 속도를 달성하는 것.
• 선형 수렴을 보장하는 반복 기반 오차 경계에 대한 검증 가능한 충분조건을 제공하는 것.
• VAPP와 다른 원-이중 분할 방법, 특히 전진-후진 분할(FBS) 방법 간의 관계를 설정하는 것.

제안 방법

• VAPP는 선형화와 가변 거리 유사 함수를 사용하여 보조문제 원리의 프레임워크 안에서 보조문제의 비선형 근사식을 구성함으로써 NCCP 문제의 분해를 가능하게 한다.
• 각 반복 단계에서 원변수와 이중 승수를 포함하는 정규화된 하위문제를 최소화하며, 일반화된 거리 함수 D(u, u^k)와 이중 변수에 대한 페널티 항을 포함한다.
• 수렴을 유지하기 위해 매개변수 ε^k 를 제어하는 배경 추적 전략을 사용하며, 이는 β / (B_G + B_Ω + γτ²) 에 의해 유계로 유지된다.
• 해를 추정하기 위해 반복값의 가중 평균 (ū_t, p̄_t) 이 사용되며, 일반화된 거리 함수에 대한 내림세기 부등식을 통해 수렴 속도가 유도된다.
• 적절한 매개변수 설정 하에서 알고리즘이 전진-후진 분할(FBS) 공식과 동치임을 보여주며, 기존의 원-이중 분할 프레임워크와 연결된다.
• 구현 고려사항으로는 적응형 매개변수 설정과 제약조건 이행을 보장하기 위한 이중 타당성 투영 연산자 Π(·) 의 사용이 포함된다.

실험 결과

연구 질문

• RQ1 1차 원-이중 방법이 비매끄러운 목적함수와 제약조건을 가진 NCCP 문제에서 O(1/t) 수렴 속도를 달성할 수 있는가?
• RQ2 VAPP 프레임워크에서 반복 기반 오차 경계 조건이 선형 수렴 속도를 보장하기 위해 어떤 조건이 필요한가?
• RQ3 VAPP 방법은 강한 볼록성 조건 하에서 어떻게 O(1/t²) 수렴 속도를 달성할 수 있는가?
• RQ4 VAPP와 기존의 원-이중 분할 방법, 예를 들어 전진-후진 분할(FBS) 간의 관계는 어떠한가?
• RQ5 선형 수렴을 보장하는 오차 경계의 존재를 보장하는 검증 가능한 충분조건는 무엇인가?

주요 결과

• 표준 가정 하에서 일반 볼록 케이스에서 VAPP 알고리즘이 원변수의 부적합성, 타당성, 이중변수의 부적합성에 대해 O(1/t) 수렴 속도를 달성한다.
• 강한 볼록성 조건 하에서 적응형 매개변수 선택을 통해 동일한 수렴 지표에 대해 개선된 O(1/t²) 수렴 속도를 확보한다.
• 반복 기반 오차 경계 조건이 설정되었으며, 이 경계에 대한 검증 가능한 충분조건가 제공되어 적절한 매개변수 제어 하에서 선형 수렴이 가능하다.
• VAPP 방법이 전진-후진 분할(FBS) 공식과 동치임을 보여주며, 잘 알려진 원-이중 분할 알고리즘의 한 클래스와 연결된다.
• 일반화된 거리 함수 D(u, u^k) + (ε^k / 2γ) ||p - p^k||² 에 대한 내림세기 부등식이 증명되었으며, 이는 수렴성과 수렴 속도 분석의 기초가 된다.
• 가정 1과 2 하에서 보조문제 원리의 안정점 (u*, p*) 으로 알고리즘이 유계이면서 전역 수렴한다.