[논문 리뷰] BISTA: a Bregmanian proximal gradient method without the global Lipschitz continuity assumption.

Daniel Reem, Simeon Reich외 1명|arXiv (Cornell University)|2018. 04. 19.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 3

한 줄 요약

이 논문은 볼록 최적화에서 부드러운 항의 그래디언트에 대한 전역 리프시츠 연속성 가정이 필요 없도록 하는 새로운 Bregmanian 프락시멀 그래디언트 방법인 BISTA를 제안한다. Bregman 발산과 집합 분해 전략을 활용하여, 실용적인 조건 하에 유한 차원 및 무한 차원 공간에서 비점근 수렴 속도와 약한 수렴을 달성한다.

ABSTRACT

The problem of minimization of a separable convex objective function has various theoretical and real-world applications. One of the popular methods for solving this problem is the proximal gradient method (proximal forward-backward algorithm). A very common assumption in the use of this method is that the gradient of the smooth term in the objective function is globally Lipschitz continuous. However, this assumption is not always satisfied in practice, thus casting a limitation on the method. In this paper we discuss, in a wide class of finite and infinite-dimensional spaces, a new variant (BISTA) of the proximal gradient method which does not impose the above-mentioned global Lipschitz continuity assumption. A key contribution of the method is the dependence of the iterative steps on a certain decomposition of the objective set into subsets. Moreover, we use a Bregman divergence in the proximal forward-backward operation. Under certain practical conditions, a non-asymptotic rate of convergence (that is, in the function values) is established, as well as the weak convergence of the whole sequence to a minimizer. We also obtain a few auxiliary results of independent interest, among them a general and useful stability principle which, roughly speaking, says that given a uniformly continuous function defined on an arbitrary metric space, if we slightly change the objective set over which the optimal (extreme) values are computed, then these values vary slightly. This principle suggests a general scheme for tackling a wide class of non-convex and non-smooth optimization problems.

연구 동기 및 목표

• 프락시멀 그래디언트 방법이 그래디언트의 전역 리프시츠 연속성을 요구하는 한계를 해결하기 위해, 이 조건이 실제 응용에서 자주 위반됨을 고려한다.
• 이러한 그래디언트 가정이 실패하는 유한 차원 및 무한 차원 공간 모두에 적용 가능한 새로운 최적화 프레임워크를 개발한다.
• 더 약한, 더 실용적인 가정 하에 비점근 수렴 속도와 약한 수렴을 보장하는 수렴 보장을 수립한다.
• 왜곡된 집합에 대한 최적화를 위한 일반적인 안정성 원칙을 도입하여, 비볼록 및 비연속 문제로의 확장 가능성을 제시한다.
• 강한 부드러움 가정에 의존하지 않고도 분리 가능한 볼록 최소화 문제를 다룰 수 있는 이론적 기반을 제공한다.

제안 방법

• 기존 프락시멀 방법에서 사용하는 표준 유클리드 거리 대신, 프락시멀 전진-후진 단계에 Bregman 발산을 적용한다.
• 목적 함수의 집합을 부분집합으로 분해하여 반복적 갱신 과정을 이끌고, 비리프시츠 그래디언트에 대한 적응 가능성을 보장한다.
• 일반적인 거리 공간, 특히 무한 차원 힐베르트 공간에서도 작동하도록 설계되어, 유한 차원 설정을 넘어서 적용 가능성을 넓힌다.
• 수렴 분석은 새로운 안정성 원칙에 기반한다: 타당 집합의 미세한 변형은 균일 연속성 조건 하에 최적 값의 미세한 변화를 유도한다.
• 반복적 절차는 강하 성질을 유지하고, 그래디언트가 전역 리프시츠가 아니어도 수렴을 보장하도록 구성된다.
• 전역 부드러움 조건이 필요 없이도 함수 값에 대한 비점근 수렴 속도를 유도하여 실용적인 수렴 한계를 확립한다.

실험 결과

연구 질문

• RQ1 그래디언트의 전역 리프시츠 연속성 가정 없이도 수렴하는 프락시멀 그래디언트 방법을 설계할 수 있는가?
• RQ2 비리프시츠 설정에서 유클리드 프락시멀 항을 대체하기 위해 Bregman 발산을 어떻게 효과적으로 활용할 수 있는가?
• RQ3 목적 함수 집합의 분해 조건과 함수 구조는 어떤 조건에서 무한 차원 공간에서도 수렴을 보장하는가?
• RQ4 왜곡된 최적화 집합에 대한 일반적인 안정성 원칙을 수립하고, 이를 수렴 보장 도출에 적용할 수 있는가?
• RQ5 전역 리프시츠 연속성 가정보다 더 약한 조건 하에서 달성 가능한 비점근 수렴 속도는 무엇인가?

주요 결과

• BISTA는 전역 리프시츠 연속성 가정 없이도 실용적인 조건 하에 함수 값에 대한 비점근 수렴 속도를 달성한다.
• 이 방법은 유한 차원 및 무한 차원 공간에서 전체 수렴 수열이 최소화자로 약하게 수렴하도록 보장한다.
• 일반적인 안정성 원칙이 확립되었다: 균일 연속 함수는 타당 집합이 약간 변형될 경우 최적 값의 변화가 미미하다.
• 프락시멀 단계에서 Bregman 발산을 사용함으로써, 비연속 또는 비리프시츠 그래디언트를 다루는 데 더 큰 유연성을 확보할 수 있다.
• 목적 함수 집합의 부분집합으로의 분해를 통해 적응형 스텝 사이즈 선택이 가능해지고, 복잡한 설정에서 수렴 행동이 향상된다.
• 이론적 프레임워크는 프락시멀 방법을 더 넓은 범위의 비볼록 및 비연속 최적화 문제로 확장할 수 있는 기반을 제공한다.