[논문 리뷰] An inertial Tseng's type proximal algorithm for nonsmooth and nonconvex optimization problems

Radu Ioan Boţ, Ernö Robert Csetnek|arXiv (Cornell University)|2014. 06. 03.

Optimization and Variational Analysis참고 문헌 29인용 수 6

한 줄 요약

이 논문은 비연속적이고 비볼록 최적화를 위한 관성형 Tseng 유형의 프록시멀 알고리즘을 제안한다. 이 알고리즘은 프록시멀 단계에서 Bregman 거리와 함께 전진-후진-전진 단계를 결합하여 관성 및 기억 효과를 도입한다. 주요 기여는 비연속적이고 비볼록 함수에 대해 Kurdyka-Łojasiewicz (KL) 부등식을 만족할 경우의 수렴성을 보장하는 것으로, 이는 반대칭 다항식 함수에 대해 성립하며, 반복값이 임계점으로 전역 수렴함을 보장한다.

ABSTRACT

We investigate the convergence of a forward-backward-forward proximal-type algorithm with inertial and memory effects when minimizing the sum of a nonsmooth function with a smooth one in the absence of convexity. The convergence is obtained provided an appropriate regularization of the objective satisfies the Kurdyka-Łojasiewicz inequality, which is for instance fulfilled for semi-algebraic functions.

연구 동기 및 목표

• 비볼록 설정에서 비연속 함수와 연속 함수의 합을 최소화하기 위한 일阶 알고리즘을 개발하는 것.
• Tseng 유형의 전진-후진-전진 구조에 관성 및 기억 효과를 통합하여 수렴 속도를 향상시키는 것.
• 비연속적이고 비볼록 함수에 대해 일반화된 KL 성질인 Kurdyka-Łojasiewicz (KL) 부등식 하에서 수렴 보장을 확립하는 것.
• 프록시멀 단계에서 제곱 노름 대신 Bregman 거리를 사용하여 기존의 관성 프록시멀 방법을 비볼록 문제로 확장하는 것.
• 스parser 최적화 문제와 행렬 분해 문제 등 중요한 클래스를 포함하는 반대칭 다항식 함수에 대해 방법을 검증하는 것.

제안 방법

• 알고리즘은 전진-후진-전진 구조를 사용한다: 연속 함수의 그래디언트를 이용한 전진 단계, Bregman 프록시멀 연산자를 통한 후진 단계, 그리고 두 번째 전진 단계.
• 프록시멀 연산자에서 표준 제곱 노름 대신 Bregman 거리가 사용되어 비볼록 설정에서 더 큰 유연성을 확보한다.
• 이전 두 반복값을 이용해 다음 반복값을 정의함으로써 관성 항을 도입하여 수렴 속도를 향상시킨다.
• 수렴은 세 가지 핵심 요소를 통해 증명된다: 목적 함수의 민감도 함수 감소 보장, 반복값 간격에 대한 하위기울기 하한, 목적 함수의 해석적 성질.
• 분석은 국소 제약(모르두코비치) 하위도함수와 정규화된 목적 함수에 대한 KL 부등식에 기반한다.
• 연속 반복값 간의 차이에 대한 이차 페널티를 포함하는 정규화 항을 사용하여 KL 조건이 성립하도록 보장한다.

실험 결과

연구 질문

• RQ1 비볼록 비연속 최적화 문제에 대해 관성형 Tseng 유형의 전진-후진-전진 알고리즘이 전역적으로 수렴할 수 있는가?
• RQ2 관성 및 기억 효과가 비볼록 설정에서 수렴성을 유지하기 위해 어떤 조건이 필요한가?
• RQ3 정규화된 목적 함수에 대해 Kurdyka-Łojasiewicz 부등식을 적용할 경우 알고리즘이 수렴을 보장하는가?
• RQ4 제곱 노름 대신 Bregman 거리를 사용할 경우 비볼록 최적화에서 수렴에 어떤 영향을 미치는가?
• RQ5 스퍼스 최적화 문제와 행렬 분해 문제 등을 포함하는 반대칭 다항식 함수와 같은 어떤 함수 클래스가 수렴에 필요한 해석적 조건을 만족하는가?

주요 결과

• 정규화된 목적 함수가 Kurdyka-Łojasiewicz 부등식을 만족할 경우, 알고리즘은 목적 함수의 임계점으로 전역 수렴한다.
• 수렴은 경계의 연속성과 Bregman 거리 생성자의 강력 볼록성 등의 온건한 가정 하에서 확립된다.
• 스퍼스 최적화 문제와 행렬 분해 문제를 포함하는 반대칭 다항식 함수의 경우, 알고리즘은 임계점으로 수렴한다.
• 반복값의 수열과 그 관성 근사값은 동일한 한계점으로 수렴하며, 연속 반복값 간의 차이의 합산 가능성이 보장된다.
• 수렴 속도는 명시적으로 정량화되지 않았지만, 반복값 간 차이의 합산 가능성은 일반화된 의미에서 선형 수렴을 암시한다.
• Bregman 거리를 사용한 세 단계 전진-후진-전진 구조를 통합함으로써 기존의 관성 전진-후진 방법을 일반화한다.