[논문 리뷰] Convergence rate analysis of a sequential convex programming method with line search for a class of constrained difference-of-convex optimization problems

Peiran Yu, Ting Kei Pong외 1명|arXiv (Cornell University)|2020. 01. 20.

Optimization and Variational Analysis참고 문헌 55인용 수 4

한 줄 요약

이 논문은 제약 조건이 있는 차분-볼록(DC) 최적화 문제를 위한 선형 탐색을 갖는 순차적 볼록 프로그래밍 방법(SCP ls)의 수렴 속도를 분석한다. 비볼록 설정에서는 잠재 함수에 대한 Kurdyka-Łojasiewicz(KL) 조건을, 볼록 설정에서는 확장된 목적 함수에 대해 KL 조건을 활용하여, 약한 가정 하에 선형 수렴을 확립한다. 적용 사례로는 $σ_{1-2}$ 최소화 문제에 $Ø_2$ 또는 로렌티안 손실이 적용된 경우가 포함된다.

ABSTRACT

In this paper, we study the sequential convex programming method with monotone line search (SCP$_{ls}$) in [46] for a class of difference-of-convex (DC) optimization problems with multiple smooth inequality constraints. The SCP$_{ls}$ is a representative variant of moving-ball-approximation-type algorithms [6,10,13,54] for constrained optimization problems. We analyze the convergence rate of the sequence generated by SCP$_{ls}$ in both nonconvex and convex settings by imposing suitable Kurdyka-Lojasiewicz (KL) assumptions. Specifically, in the nonconvex settings, we assume that a special potential function related to the objective and the constraints is a KL function, while in the convex settings we impose KL assumptions directly on the extended objective function (i.e., sum of the objective and the indicator function of the constraint set). A relationship between these two different KL assumptions is established in the convex settings under additional differentiability assumptions. We also discuss how to deduce the KL exponent of the extended objective function from its Lagrangian in the convex settings, under additional assumptions on the constraint functions. Thanks to this result, the extended objectives of some constrained optimization models such as minimizing $\ell_1$ subject to logistic/Poisson loss are found to be KL functions with exponent $\frac12$ under mild assumptions. To illustrate how our results can be applied, we consider SCP$_{ls}$ for minimizing $\ell_{1-2}$ [60] subject to residual error measured by $\ell_2$ norm/Lorentzian norm [21]. We first discuss how the various conditions required in our analysis can be verified, and then perform numerical experiments to illustrate the convergence behaviors of SCP$_{ls}$.

연구 동기 및 목표

• 제약 조건이 있는 다수의 매끄러운 부등식 제약 조건을 가진 DC 최적화 문제를 해결하기 위해 SCP ls 알고리즘의 수렴 속도 보장을 확립하는 것.
• Kurdyka-Łojasiewicz(KL) 가정 하에서 비볼록 및 볼록 설정 간의 수렴 행동을 분석하는 것.
• 볼록 설정에서 확장된 목적 함수의 KL 지수와 라그랑주 함수의 KL 지수 간의 관계를 규명하여 특정 모델의 수렴 속도 분석을 가능하게 하는 것.
• 이론적 조건의 적용 가능성과 수치 실험을 통한 수렴 행동을 검증하여 $σ_{1-2}$ 최소화 문제에 적용하는 것.
• 비볼록 정규화와 비매끄러운 제약 조건을 가진 희소 복원 문제를 해결하기 위한 실용적인 알고리즘 프레임워크를 선형 탐색과 함께 제공하는 것.

제안 방법

• 원래의 DC 문제를 근사하는 순차적 볼록 프로그래밍 방법에 단조성 선형 탐색을 도입한 SCP ls를 제안하며, 반복적으로 볼록 하위문제를 해결한다.
• 매끄러운 성분 $f$ 및 $g_i$의 이차 타일러 전개를 사용하여 제약 조건의 이동 구역 근사치를 구성하고, 이를 통해 볼록 하위문제를 형성한다.
• 비볼록 설정에서는 목적 함수 및 제약 조건과 관련된 특수한 잠재 함수를 KL 함수로 설정하고, 볼록 설정에서는 확장된 목적 함수에 직접적으로 KL 성질을 가정한다.
• 추가적인 미분 가능성 및 제약 조건 가정 하에 확장된 목적 함수의 KL 지수와 라그랑주 함수의 KL 지수 간의 관계를 규명한다.
• 특히 $σ_1$-노름 정규화 문제에 대해 수치 실험에서 발생하는 하위문제를 효율적으로 해결하기 위해 이중 문제의 근 찾기 전략을 활용한다.
• $Ø_2$ 또는 로렌티안 손실이 있는 $σ_{1-2}$ 최소화 문제에 이 방법을 적용하여 조건을 검증하고 수치적으로 선형 수렴을 보여준다.

실험 결과

연구 질문

• RQ1 제약 조건이 있는 DC 최적화 문제에 대해 SCP ls 알고리즘이 선형 수렴하기 위한 조건은 무엇인가?
• RQ2 볼록 설정에서 잠재 함수와 확장된 목적 함수에 대한 Kurdyka-Łojasiewicz(KL) 가정은 어떻게 관련되는가?
• RQ3 추가로 제약 함수에 대한 가정을 두었을 때, 확장된 목적 함수의 KL 지수는 라그랑주 함수의 지수로부터 유도될 수 있는가?
• RQ4 $Ø_2$ 또는 로렌티안 손실 제약 조건이 있는 $σ_{1-2}$ 최소화 문제에 적용했을 때 SCP ls의 수렴 행동는 어떠한가?
• RQ5 특히 $σ_1$-노름 정규화가 포함된 경우, SCP ls의 하위문제를 실용적으로 효율적으로 해결할 수 있는 방법은 무엇인가?

주요 결과

• 로지스틱 손실 또는 포isson 손실 하에서 $σ_1$을 최소화하는 문제의 확장된 목적 함수는 약한 가정 하에 KL 함수이며 지수 $\frac{1}{2}$를 가짐을 보여준다.
• 볼록 설정에서는 추가적인 미분 가능성 및 제약 조건 가정 하에 확장된 목적 함수의 KL 지수를 라그랑주 함수의 지수로부터 유도할 수 있다.
• $Ø_2$ 또는 로렌티안 손실이 있는 $σ_{1-2}$ 최소화 문제에 대해 SCP ls 알고리즘은 수치 실험에서 선형 수렴을 보였다.
• 수치 결과는 SCP ls가 선형 탐색 없이 표준 SCP보다 더 빠르게 수렴하고 선형 수렴 행동를 보임을 보여준다.
• $σ_1$-노름 정규화와 이차 제약 조건을 가진 SCP ls의 하위문제는 이중 근 찾기 절차를 통해 효율적으로 해결될 수 있다.
• KL 가정 하에 이론적 수렴 보장을 확립하였으며, 비볼록 설정에서는 잠재 함수, 볼록 설정에서는 확장된 목적 함수가 핵심 분석 도구로 기능한다.