[논문 리뷰] Bregman forward-backward splitting for nonconvex composite optimization: superlinear convergence to nonisolated critical points

Masoud Ahookhosh, Andreas Themelis외 1명|arXiv (Cornell University)|2019. 05. 28.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 비볼록 복합 최적화 문제에 대해 국소적으로 초선형 수렴을 달성하는 Bregman 전진-후진 분할 방법인 Bella를 제안한다. 비고립된 임계점으로의 수렴을 보장하기 위해 Bregman 전진-후진 환영(BFBE)을 활용하며, 이는 일阶 및 이阶 성질이 유리하고 Lojasiewicz 유형 조건 하에서 비선형 오차 경계를 가지는 페널티 함수이다. 알고리즘은 적절한 방향 선택이 이루어질 경우 전역 수렴과 초선형 수렴 속도를 보장한다.

ABSTRACT

We introduce Bella, a locally superlinearly convergent Bregman forward-backward splitting method for minimizing the sum of two nonconvex functions, one of which satisfying a relative smoothness condition and the other one possibly nonsmooth. A key tool of our methodology is the Bregman forward-backward envelope (BFBE), an exact and continuous penalty function with favorable first- and second-order properties, and enjoying a nonlinear error bound when the objective function satisfies a Lojasiewicz-type property. The proposed algorithm is of linesearch type over the BFBE along candidate update directions, and converges subsequentially to stationary points, globally under a KL condition, and owing to the given nonlinear error bound can attain superlinear convergence rates even when the limit point is a nonisolated minimum, provided the directions are suitably selected.

연구 동기 및 목표

• 비볼록 복합 최적화 문제에서 최소값이 비고립적인 경우 초선형 수렴을 달성하는 데 도전하는 문제를 다루는 것.
• Kurdyka-Lojasiewicz(KL) 조건 하에서 정류점으로의 전역 수렴을 보장하는 선색색 기반 알고리즘을 개발하는 것.
• Bregman 전진-후진 환영(BFBE)에 대한 비선형 오차 경계를 확립하여, 비고립된 최소값에서도 초선형 수렴을 가능하게 하는 것.
• 상대적 미분 가능성과 비미분 성분을 통합함으로써 Bregman 방법의 적용 범위를 볼록 설정을 초월하여 확장하는 것.

제안 방법

• 이 방법은 복합 목표함수를 압축하는 정확하고 연속적인 페널티 함수인 Bregman 전진-후진 환영(BFBE)을 사용한다.
• BFBE는 유리한 일阶 및 이阶 성질을 갖도록 구성되어 있어 선색색을 통한 효율적 내림차순을 가능하게 한다.
• Lojasiewicz 유형 조건 하에서 BFBE에 대한 비선형 오차 경계가 유도되며, 이는 초선형 수렴에 핵심적이다.
• 알고리즘은 후보 업데이트 방향을 따라 BFBE에 대해 선색색을 수행하여 충분한 감소를 보장한다.
• 전역 수렴은 Kurdyka-Lojasiewicz(KL) 부등식을 통해 확립되며, 정류점으로의 전역 수렴을 보장한다.
• 업데이트 방향이 적절히 선택될 경우 비고립된 임계점에서도 초선형 수렴이 달성된다.

실험 결과

연구 질문

• RQ1 제한점이 비고립적인 경우 비볼록 최적화에서 Bregman 전진-후진 방법이 초선형 수렴을 달성할 수 있는가?
• RQ2 목표 함수에 어떤 조건이 성립하면 Bregman 전진-후진 환영(BFBE)에 대한 비선형 오차 경계가 보장되는가?
• RQ3 Bregman 전진-후진 환영은 비볼록 환경에서 전역 수렴과 빠른 국소 수렴 속도를 보장하기 위해 어떻게 활용될 수 있는가?
• RQ4 상대적 미분 가능성 조건은 비볼록 복합 문제의 수렴 보장을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 비고립된 최소값이 존재하는 상황에서 BFBE에 대한 선색색이 초선형 수렴을 이끌 수 있는 조건은 무엇인가?

주요 결과

• Bregman 전진-후진 환영(BFBE)은 일阶 및 이阶 성질이 유리한 정확하고 연속적인 페널티 함수이다.
• 목표 함수가 Lojasiewicz 유형 조건을 만족할 경우 BFBE는 비선형 오차 경계를 만족한다.
• Kurdyka-Lojasiewicz(KL) 조건 하에서는 정류점으로의 전역 수렴이 보장된다.
• 업데이트 방향이 적절히 선택될 경우 비고립된 임계점에서도 초선형 수렴 속도가 달성된다.
• 알고리즘은 BFBE에 대한 선색색 기반으로 구성되어 있어 충분한 감소와 강건한 수렴 행동을 보장한다.
• 이 방법은 한 함수가 상대적으로 미분 가능하고 다른 함수가 비미분일 수 있는 비볼록 복합 문제에 적용 가능하다.