[논문 리뷰] Convergence analysis of a proximal-type algorithm for DC programs with applications to variable selection

Wu, Shuang, Bui Van Dinh외 3명|arXiv (Cornell University)|2015. 08. 17.

Optimization and Variational Analysis참고 문헌 26인용 수 3

한 줄 요약

이 논문은 미분 가능 함수 $\varphi$ 와 볼록 함수 $g,h$ 를 갖는 비볼록 DC 프로그래밍 $\min \{ \varphi(x) + g(x) - h(x) \}$ 를 해결하기 위한 보강된 프록시멀 포인트 알고리즘을 제안한다. 프록시멀 포인트 반복과 Fukushima-Mine의 강하 방향을 조합함으로써, 이 방법은 Kurdyka-Łojasiewicz 성질 하에 전역 수렴성과 수렴 속도를 보장하며, 관계 분석을 관성형 변형으로까지 확장한다.

ABSTRACT

We consider a minimization problem of the form $P(φ, g, h):$ $$\min\left\{f(x):= φ(x) + g(x) - h(x) \colon x \in \mathbb{R}^n ight\},$$ where $φ$ is a differentiable function and $g,$ $h$ are convex functions, and introduce iterative methods to finding a critical point of $f$ when $f$ is differentiable. We show that the point computed by proximal point algorithm at each iteration can be used to determine a descent direction for the objective function at this point. This algorithm can be considered as a combination of proximal point algorithm together with a linesearch step that uses this descent direction. We also study convergence results of these algorithms and the inertial proximal methods proposed by Maing$\acute{e}$ and Moudafi (SIAM J. Optim. {\bf 19}(2008), 397--413) under the main assumption that the objective function satisfies the Kurdika--Łojasiewicz property. The proposed algorithm is then applied to solve the variable selection problem in linear regression.

연구 동기 및 목표

• 다양한 $\varphi$ 와 볼록 함수 $g,h$ 를 갖는 DC 함수 $f(x) = \varphi(x) + g(x) - h(x)$ 를 최소화하기 위한 전역 수렴 알고리즘을 개발하는 것.
• 프록시멀 포인트 프레임워크에 강하 방향을 통합하여 수렴 행동을 향상시키는 것.
• Kurdyka-Łojasiewicz 부등식 하에 제안된 알고리즘의 전역 수렴성과 수렴 속도를 확립하는 것.
• DC 프로그래밍을 위한 관성형 프록시멀 방법으로의 수렴 분석을 확장하는 것.
• 변수 선택에의 적용을 고려한 비볼록 최적화에서 프록시멀 유형 알고리즘의 사용에 대한 이론적 근거를 제공하는 것.

제안 방법

• 프록시멀 반복과 $\varphi$ 의 그래디언트 및 $g,h$ 의 서브그래디언트로부터 유도된 강하 방향을 조합한 보강된 프록시멀 포인트 알고리즘을 도입한다.
• 각 반복에서 목적 함수의 충분한 감소를 보장하기 위해 강하 방향을 따라 선형 탐색 단계를 사용한다.
• 전역 수렴성과 수렴 속도를 증명하기 위한 주요 가정으로 Kurdyka-Łojasiewicz (KŁ) 부등식을 사용한다.
• 최근의 KŁ 기반 수렴 분석 기법을 활용하여 비볼록, 비연속적 DC 프로그래밍을 다루는 데 적응한다.
• Maingé와 Moudafi의 관성형 프록시멀 방법을 KŁ 성질을 활용하여 분석함으로써 수렴성을 확립한다.
• KŁ 지수 $\kappa$ 를 기반으로 수렴 속도 추정치를 유도하여, $\kappa \in (0,1)$ 일 경우 선형 또는 하위선형 수렴을 보임을 보여준다.

실험 결과

연구 질문

• RQ1 강하 방향을 갖는 프록시멀 유형 알고리즘이 다양한 $\varphi$ 와 볼록 함수 $g,h$ 를 갖는 DC 프로그래밍에서 전역 수렴성을 달성할 수 있는가?
• RQ2 제안된 보강된 프록시멀 포인트 알고리즘이 어떤 조건에서 전역 수렴성과 정량적 수렴 속도를 갖는가?
• RQ3 Kurdyka-Łojasiewicz 부등식은 비볼록 DC 프로그래밍의 수렴 분석을 어떻게 가능하게 하는가?
• RQ4 기존 프록시멀 방법의 수렴 결과는 DC 프로그래밍에서 관성형 변형으로까지 확장 가능한가?
• RQ5 KŁ 지수 $\kappa$ 에 따라 제안된 알고리즘의 수렴 속도는 어떻게 표현되는가?

주요 결과

• 제안된 보강된 프록시멀 포인트 알고리즘은 Kurdyka-Łojasiewicz 성질 하에 DC 프로그래밍의 임계점으로 전역 수렴한다.
• 강하 방향을 따라 선형 탐색 단계를 통해 각 반복에서 목적 함수의 충분한 감소를 보장한다.
• 동일한 KŁ 가정 하에 관성형 프록시멀 방법의 전역 수렴성이 확립되어 이전 결과를 확장한다.
• 수렴 속도가 정량화되어 있으며, KŁ 지수 $\kappa \in (0,1)$ 이면 $\kappa$ 의 값에 따라 선형 또는 하위선형 수렴이 발생하며, $\|z^{k+1} - z^k\|$ 에 대한 명시적 상한이 존재한다.
• 수렴 증명은 수열 $\{z^k\}$ 이 KŁ 부등식과 차분의 합계 가능성을 활용하여 코시 수열임을 보이는 데 기반한다.
• 분석 결과는 DC 분해의 구조 때문에 이 알고리즘이 변수 선택 문제에 적용 가능하다는 것을 확인한다.