[논문 리뷰] A systematic approach to general higher-order majorization-minimization algorithms for (non)convex optimization

Ion Necoara, Daniela Lupu|arXiv (Cornell University)|2020. 10. 26.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 목표 함수를 통제된 오차로 상위-bound하는 고차수 서로서브 함수를 반복적으로 최소화하여 비볼록 및 비연속 최적화 문제를 해결하기 위한 일반적인 고차수 주도-최소화(GHOM) 프레임워크를 제안한다. 주요 기여는 볼록 문제에 대해 전역 하위선형 수렴 속도를 보장하고, 균일 볼록성 또는 Kurdyka-Łojasiewicz 성질 하에 국소 초선형 수렴 속도를 확보하는 것이다. 또한 기존의 일阶 및 고차수 방법에 알려진 복잡도 한계를 복원한다.

ABSTRACT

Majorization-minimization algorithms consist of successively minimizing a sequence of upper bounds of the objective function so that along the iterations the objective function decreases. Such a simple principle allows to solve a large class of optimization problems, even nonconvex and nonsmooth. We propose a general higher-order majorization-minimization algorithmic framework for minimizing an objective function that admits an approximation (surrogate) such that the corresponding error function has a higher-order Lipschitz continuous derivative. We present convergence guarantees for our new method for general optimization problems with (non)convex and/or (non)smooth objective function. For convex (possibly nonsmooth) problems we provide global sublinear convergence rates, while for problems with uniformly convex objective function we obtain locally faster superlinear convergence rates. We also prove global stationary point guarantees for general nonconvex (possibly nonsmooth) problems and under Kurdyka-Lojasiewicz property of the objective function we derive local convergence rates ranging from sublinear to superlinear for our majorization-minimization algorithm. Moreover, for unconstrained nonconvex problems we derive convergence rates in terms of first- and second-order optimality conditions.

연구 동기 및 목표

• 일반적인 (비)볼록 및 (비)연속 최적화 문제에 적용 가능한 고차수 주도-최소화 방법의 통합 알고리즘 프레임워크를 개발하는 것.
• 비연속 또는 균일 볼록 목표 함수를 가진 볼록 문제에 대해 전역 수렴 속도를 확립하는 것.
• 비볼록 문제에 대해 정류점으로의 전역 점진 수렴과 Kurdyka-Łojasiewicz(KL) 성질 하에 국소 수렴 속도를 제공하는 것.
• 비제약 비볼록 문제에 대해 일阶 및 이阶 최적성 조건을 기반으로 한 수렴 속도를 유도하는 것.
• 기존 텐서 및 일阶 방법에서 알려진 복잡도 한계를 제안된 프레임워크의 특수 케이스로 복원하는 것.

제안 방법

• 목표 함수를 주도하는 고차수 서로서브 함수를 구성하며, 이때 오차 함수는 p차 미분 가능하고 p차 리프시츠 연속성을 가진다.
• 각 반복 단계에서, p차 미분을 사용한 국소 테일러 유사 모델을 최소화하며, p차 도함수의 리프시츠 상수에 기반한 페널티 항을 추가한다.
• 서로서브 함수는 세 가지 핵심 성질을 만족한다: 目표 함수의 주도, 오차의 p차 미분 연속성, 그리고 현재 반복점에서 목표 함수와 그 첫 p개 도함수의 정확한 일치.
• 비볼록 최적화 도구를 사용하여 수렴성을 분석하며, 이는 Kurdyka-Łojasiewicz 부등식과 균일 볼록성 가정을 포함한다.
• 일阶 방법(예: 프록시멀 그라디언트)과 고차수 텐서 방법을 통합함으로써, 동일한 추상화 아래에서 이들의 수렴 분석을 일반화한다.
• 구성된 서로서브 함수를 문제 유형에 맞게 조정하여 복합 볼록, 비제약 비볼록, 그리고 단순 제약 조건을 가진 문제에 응용한다.

실험 결과

연구 질문

• RQ1 일반적인 (비)볼록 및 (비)연속 문제에 대해 기존의 일阶 및 고차수 방법을 일반화하는 통합 고차수 주도-최소화 프레임워크를 개발할 수 있는가?
• RQ2 비연속 또는 균일 볼록 목표 함수를 가진 볼록 문제에서 GHOM 알고리즘이 보장할 수 있는 수렴 속도는 무엇인가?
• RQ3 비볼록 문제에서 GHOM 알고리즘이 정류점으로의 전역 수렴을 보장하는 조건은 무엇인가?
• RQ4 Kurdyka-Łojasiewicz 성질 하에서 국소 수렴 속도는 어떻게 행동하며, KL 매개수에 따라 어떤 의존성을 가지는가?
• RQ5 GHOM 프레임워크는 프록시멀 그라디언트나 텐서 방법으로 해결된 문제 클래스에 대해 알려진 수렴 한계를 복원할 수 있는가?

주요 결과

• 볼록(비연속 가능) 문제에 대해 GHOM 알고리즘은 목적 함수 값에서 $\mathcal{O}(k^{-p})$ 순서의 전역 하위선형 수렴 속도를 달성한다.
• 균일 볼록 문제에 대해 GHOM 알고리즘은 목적 함수 값과 최적점으로부터의 반복점 거리에서 국소 초선형 수렴을 달성한다.
• 일般的한 비볼록(비연속 가능) 문제에 대해 알고리즘은 정류점으로의 전역 점진 수렴을 보장하며, $\min_{i=1:k} S(x_i) = \mathcal{O}(k^{-\frac{p}{p+1}})$를 만족한다. 여기서 $S(x)$는 서브그래디언트 노름이다.
• Kurdyka-Łojasiewicz 성질 하에서 국소 수렴 속도는 KL 매개수에 따라 하위선형에서 초선형까지 다양하게 변하며, 명시적인 수렴 속도 특성화가 가능하다.
• 매끄러운 비제약 비볼록 문제에 대해 GHOM 알고리즘은 일阶 및 이阶 최적성 조건 모두에서 하위선형 수렴을 달성한다.
• 프레임워크는 $p=1$일 경우 기존의 알려진 복잡도 한계(예: 프록시멀 그라디언트 및 가우스-뉴턴)를 복원하며, $p>1$로 확장하여 이전에 분석되지 않은 문제 유형에 대해 새로운 결과를 도출한다.