[논문 리뷰] On the convergence of the proximal forward-backward splitting method with linesearches

Yunier Bello-Cruz, T. T. A. Nghia|arXiv (Cornell University)|2015. 01. 11.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 12

한 줄 요약

이 논문은 리프시츠 연속성 조건이 없는 힐버트 공간 내 비미분가능한 볼록 최적화 문제에 대해 프록시مال 전진-후진 분할 방법의 약한 수렴성을 확립한다. 두 가지 새로운 선검색 전략을 도입함으로써, 스텝사이즈가 양수 상한 이하로 떨어지지 않을 경우 수렴성과 목적 함수 값 향상에 대한 복잡도 한계를 확보한다.

ABSTRACT

In this paper we focus on the convergence analysis of the proximal forward-backward splitting method for solving nonsmooth optimization problems in Hilbert spaces when the objective function is the sum of two convex functions. Assuming that one of the functions is Fr\'echet differentiable and using two new linesearches, the weak convergence is established without any Lipschitz continuity assumption on the gradient. Furthermore, we obtain many complexity results of cost values at the iterates when the stepsizes are bounded below by a positive constant.

연구 동기 및 목표

• 힐버트 공간 내 볼록 최적화 문제에 대해 프록시멀 전진-후진 분할 방법의 수렴성을 분석하는 것.
• 미분 가능 성분의 그라디언트에 대한 표준 리프시츠 연속성 조건을 제거하는 것.
• 스텝사이즈를 적응적으로 선택하는 두 가지 새로운 선검색 전략을 사용하여 약한 수렴성을 확립하는 것.
• 스텝사이즈가 양수 상한 이하로 떨어지지 않을 경우 목적 함수 값 감소에 대한 복잡도 결과를 도출하는 것.

제안 방법

• 이 방법은 두 개의 볼록 함수의 합을 최소화하기 위해 전진-후진 분할 기법을 적용하며, 그 중 하나는 프레셰 미분 가능하다.
• 그라디언트의 리프시츠 연속성 조건이 필요 없도록 두 가지 새로운 선검색 전략을 도입한다.
• 선검색 전략은 목적 함수의 충분한 감소를 보장하면서 수렴 성질을 유지한다.
• 해석은 힐버트 공간 설정에서 수행되어 무한차원 문제로의 일반화를 가능하게 한다.
• 변분부등식의 논리적 접근과 프록시멀 연산자의 성질을 이용하여 약한 수렴성을 증명한다.
• 스텝사이즈가 양수 상한 이하로 떨어지지 않는 조건 하에서 복잡도 분석을 수행한다.

실험 결과

연구 질문

• RQ1 그라디언트의 리프시츠 연속성 조건 없이 프록시멀 전진-후진 방법의 약한 수렴성을 확보할 수 있는가?
• RQ2 그라디언트의 리프시츠 연속성 조건을 피하면서도 수렴성을 보장할 수 있도록 선검색 전략을 어떻게 설계할 수 있는가?
• RQ3 스텝사이즈가 양수 상한 이하로 떨어지지 않을 경우 목적 함수 값 감소에 대한 복잡도 한계는 무엇인가?
• RQ4 제안된 방법은 무한차원 힐버트 공간에서도 수렴성을 유지하는가?

주요 결과

• 미분 가능 함수의 그라디언트가 리프시츠 연속이 아니어도 반복값의 약한 수렴성이 확보된다.
• 제안된 선검색 전략은 목적 함수의 충분한 감소를 보장하며, 최소한의 가정 하에서도 수렴성을 지원한다.
• 스텝사이즈가 양수 상한 이하로 떨어지지 않을 경우, 반복값에서 목적 함수 값 감소에 대한 복잡도 한계가 확보된다.
• 수렴 분석는 일반적인 힐버트 공간에서 유효하므로, 무한차원 최적화 문제로의 적용 가능성이 확장된다.