[논문 리뷰] A globally convergent algorithm for nonconvex optimization based on block coordinate update

Yangyang Xu, Wotao Yin|arXiv (Cornell University)|2014. 10. 06.

Sparse and Compressive Sensing Techniques참고 문헌 45인용 수 34

한 줄 요약

이 논문은 비볼록 최적화 문제에 대해 Kurdyka-Łojasiewicz (KL) 조건 하에서 임계점으로의 전역 수렴을 보장하는 블록 프록스-선형(BPL) 알고리즘을 제안한다. 외삽을 사용하는 프록스-선형 대체 모델을 이용해 한 번에 한 블록씩 업데이트하고, 순환적 또는 무작위 업데이트 순서를 허용함으로써, 비볼록이고 비미분 가능한 문제에 대해서도 전체 수열 수렴을 보장하며, 수렴 속도의 점근적 성질이 입증되었다.

ABSTRACT

Nonconvex optimization problems arise in many areas of computational science and engineering and are (approximately) solved by a variety of algorithms. Existing algorithms usually only have local convergence or subsequence convergence of their iterates. We propose an algorithm for a generic nonconvex optimization formulation, establish the convergence of its whole iterate sequence to a critical point along with a rate of convergence, and numerically demonstrate its efficiency. Specially, we consider the problem of minimizing a nonconvex objective function. Its variables can be treated as one block or be partitioned into multiple disjoint blocks. It is assumed that each non-differentiable component of the objective function or each constraint applies to one block of variables. The differentiable components of the objective function, however, can apply to one or multiple blocks of variables together. Our algorithm updates one block of variables at time by minimizing a certain prox-linear surrogate. The order of update can be either deterministic or randomly shuffled in each round. We obtain the convergence of the whole iterate sequence under fairly loose conditions including, in particular, the Kurdyka-Łojasiewicz (KL) condition, which is satisfied by a broad class of nonconvex/nonsmooth applications. We apply our convergence result to the coordinate descent method for non-convex regularized linear regression and also a modified rank-one residue iteration method for nonnegative matrix factorization. We show that both the methods have global convergence. Numerically, we test our algorithm on nonnegative matrix and tensor factorization problems, with random shuffling enable to avoid local solutions.

연구 동기 및 목표

• 기존 비볼록 최적화 알고리즘에서 객관함수나 부분수열 수렴 외에 전역 수렴 보장이 부족한 문제를 해결하기 위해.
• 비볼록이고 비미분 가능한 최적화 문제에서 반복점 전체 수열이 임계점으로 전역 수렴하도록 보장하기 위해.
• 특히 비볼록 및 비미분 가능한 함수에 대해 널리 적용 가능한 Kurdyka-Łojasiewicz(KL) 부등식을 포함한 최소한의 가정 하에서 작동하는 알고리즘을 개발하기 위해.
• 비볼록 정규화된 선형 회귀 및 비음수 행렬 분해와 같은 실용적 문제들에서 알고리즘의 효율성과 강건성을 입증하기 위해.

제안 방법

• 알고리즘은 블록 좌표 업데이트를 사용하며, 각 반복에서 목적함수의 프록스-선형 대체 모델을 이용해 한 블록의 변수만 업데이트한다.
• 각 블록 업데이트는 미분 가능한 부분의 일阶 근사와 정규화된 비미분 성분을 합한 것을 최소화하며, 정규화된 2차 항이 포함된다.
• 수렴 속도를 향상시키기 위해 외삽 단계를 통합하였으며, Nesterov 유형 가속화와 유사하다.
• 업데이트 순서는 순환적 또는 각 사이클마다 무작위로 섞을 수 있으며, 매 정수 개의 반복 이내에 각 블록이 적어도 한 번 이상 업데이트되면 수렴이 보장된다.
• 알고리즘은 KL 조건 하에서 분석되었으며, 이 조건은 전체 수열이 임계점으로 전역 수렴함을 보장한다.
• 이 방법은 비볼록 정규화된 선형 회귀와 비음수 행렬 분해를 위한 수정된 랭크-원 잔여 반복에 적용되었다.

실험 결과

연구 질문

• RQ1 블록 좌표 하강법이 비볼록 최적화 문제에서 전체 수열의 전역 수렴을 임계점으로 보장할 수 있는가?
• RQ2 표준 도구인 볼록성 또는 Fejér 단조성의 가정이 성립하지 않을 경우, 반복점 전체 수열이 전역 수렴하기 위한 조건은 무엇인가?
• RQ3 외삽과 무작위 섞기의 통합이 실질적으로 수렴 행동을 향상시키고 낮은 품질의 국소 최적해를 피하는 데 기여하는가?
• RQ4 제안된 알고리즘이 비볼록 희소 회귀 및 비음수 행렬 분해와 같은 특정 비볼록 문제에 적용되어 전역 수렴이 보장될 수 있는가?

주요 결과

• 제안된 블록 프록스-선형(BPL) 알고리즘은 비볼록 및 비미분 가능한 함수에 대해 널리 적용 가능한 Kurdyka-Łojasiewicz(KL) 조건 하에서 전체 수열이 임계점으로 전역 수렴함을 보였다.
• 업데이트 순서가 순환적일지라도 무작위로 섞일지라도, 각 블록이 고정된 횟수 이내에 적어도 한 번 이상 업데이트되는 한 알고리즘이 수렴을 보장한다.
• 이 방법은 점근적 수렴 속도를 확립하였으며, 이 수렴 속도는 KL 지수와 문제의 국소 기하학적 특성에 따라 달라진다.
• 수치 실험 결과, 무작위 섞기가 비음수 행렬 및 텐서 분해 문제에서 낮은 품질의 국소 최적해를 피할 확률을 크게 향상시킨다.
• BPL 방법은 $oldsymbol{ ext{ℓ}}_p$ 준노름 정규화($0 \leq p < 1$)를 갖는 비볼록 정규화된 선형 회귀 문제에서 전역 수렴이 증명되었다.
• 또한 비음수 행렬 분해에서 수정된 랭크-원 잔여 반복에 대해서도 전역 수렴이 보장되며, 이는 이전에 이론적 보장이 없었던 문제였다.