[논문 리뷰] A Unified Convergence Analysis of Block Successive Minimization Methods for Nonsmooth Optimization

Meisam Razaviyayn, Mingyi Hong외 1명|arXiv (Cornell University)|2012. 09. 11.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 비연속성과 비볼록 최적화 문제에서 부분문제를 정확하게 해결하기 어려운 상황에서 국소적으로 날카로운 상한 또는 볼록 근사값을 사용하여 해결하는 블록 연속 최소화 방법에 대한 통합 수렴 분석을 제시한다. 주요 기여는 정확한 업데이트를 허용하지 않는 상황에서도 BCD, DC, EM, 그리고 프록시미멀 최소화 알고리즘과 같은 전통적인 알고리즘들을 통합하고 확장하는 일반적인 수렴 프레임워크를 제공하는 것이다.

ABSTRACT

The block coordinate descent (BCD) method is widely used for minimizing a continuous function f of several block variables. At each iteration of this method, a single block of variables is optimized, while the remaining variables are held fixed. To ensure the convergence of the BCD method, the subproblem to be optimized in each iteration needs to be solved exactly to its unique optimal solution. Unfortunately, these requirements are often too restrictive for many practical scenarios. In this paper, we study an alternative inexact BCD approach which updates the variable blocks by successively minimizing a sequence of approximations of f which are either locally tight upper bounds of f or strictly convex local approximations of f. We focus on characterizing the convergence properties for a fairly wide class of such methods, especially for the cases where the objective functions are either non-differentiable or nonconvex. Our results unify and extend the existing convergence results for many classical algorithms such as the BCD method, the difference of convex functions (DC) method, the expectation maximization (EM) algorithm, as well as the alternating proximal minimization algorithm.

연구 동기 및 목표

• 부분문제를 정확하게 해결하기 어려운 비연속성과 비볼록 문제에서 정확한 블록 좌표 하강법(BCD)의 한계를 해결한다.
• 정확한 부분문제 해가 아닌 순차적 근사값을 사용하는 정확하지 않은 BCD 방법을 위한 일반적인 수렴 프레임워크를 개발한다.
• 차분된 볼록(DC) 프로그래밍, EM 알고리즘, 교대 프록시미멀 최소화와 같은 주요 고전 알고리즘들의 수렴 결과를 통합하고 확장한다.
• 순환, 가우스-서던웰, 겹치는 본질적으로 순환 등의 다양한 업데이트 규칙에 대해 상한 전략과 볼록 근사 전략 모두에서 수렴 보장을 제공한다.

제안 방법

• 각 부분문제가 원래 목적함수의 국소적으로 날카로운 상한을 최소화하는 순차적 상한 최소화(SUM) 프레임워크를 제안한다.
• 각 반복에서 목적함수의 엄격히 볼록인 국소 근사값을 최소화하는 순차적 볼록 근사(ССA) 전략을 도입한다.
• 순환, 가우스-서던웰, 겹치는 본질적으로 순환 업데이트를 포함한 일반적인 블록 업데이트 규칙에 대한 수렴을 분석한다.
• 목적함수의 연속성과 변수 집합의 닫힌 볼록성과 같은 온건한 가정 하에 정류점으로의 수렴을 확립한다.
• 라이아프노프 유사 함수와 내림내림 성질을 활용하여 수렴을 증명하며, 근사 구조를 유용하게 활용한다.
• 목적함수 $ f(x) $ 를 상한하거나 국소적으로 볼록화하는 순차적 근사값 $ g(x, x^r) $ 의 시퀀스를 정식화하여 목적함수 값의 충분한 감소를 보장한다.

실험 결과

연구 질문

• RQ1 정확한 부분문제 해가 아닌 순차적 근사값을 사용하는 정확하지 않은 블록 좌표 방법에 대해 통합 수렴 분석을 개발할 수 있는가?
• RQ2 순차적 상한 최소화와 순차적 볼록 근사 방법이 비연속성과 비볼록 문제에서 수렴하기 위한 조건은 무엇인가?
• RQ3 다양한 블록 업데이트 규칙—순환, 가우스-서던웰, 또는 겹치는 본질적으로 순환—은 정확하지 않은 설정에서 수렴에 어떤 영향을 미치는가?
• RQ4 EM, DC 프로그래밍, 프록시미털 최소화와 같은 고전 알고리즘들이 하나의 수렴 프레임워크로 통합될 수 있는 정도는 어느 정도인가?
• RQ5 근사값이 국소적으로 날카로운가 또는 볼록적인 한에서 부분문제를 정확하지 않게 해결해도 수렴을 보장할 수 있는가?

주요 결과

• 제안된 정확하지 않은 블록 연속 최소화 프레임워크는 비볼록 및 비연속 목적함수에 대해서도 온건한 가정 하에 전역 수렴을 정류점으로 보장한다.
• 기대 최대화(EM) 알고리즘과 그 블록좌표 변형(BEM)은 제안된 SUM 프레임워크의 특수한 경우로 나타나며, 동일한 조건 하에서 수렴이 입증된다.
• 블록좌표 버전의 오목-볼록 절차(СССР), 또는 DC 프로그래밍도 BSUM 프레임워크 아래에서 통합되며, 순환 및 가우스-서던웰 업데이트 규칙 모두에서 수렴이 증명된다.
• 교대 프록시미털 최소화 알고리즘의 수렴 분석도 확장되어, 프록시미털 근사를 통한 정확하지 않은 업데이트가 여전히 수렴을 보장함을 보였다.
• 근사값이 국소적으로 날카로운가 또는 볼록한 한에서 부분문제의 해가 정확하지 않아도 되며, 이는 실용 문제에 대한 적용 가능성을 크게 넓힌다.
• 이론적 결과는 BCD, DC, EM, 프록시미털 방법에 대한 이전 수렴 결과를 모두 포함하고 확장할 수 있을 정도로 일반적이며, 하나의 우산 분석을 제공한다.