[논문 리뷰] Parallel Successive Convex Approximation for Nonsmooth Nonconvex Optimization

Meisam Razaviyayn, Mingyi Hong외 2명|arXiv (Cornell University)|2014. 06. 13.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 58

한 줄 요약

이 논문은 비스무스스러운 비볼록 최적화 문제를 위한 병렬 비정확 블록좌표강하법을 제안한다. 여기서 여러 블록이 목적함수의 볼록 근사값을 사용해 동시에 업데이트된다. 순환 및 무작위 블록 선택 규칙에 대해 비점근 수렴 보장을 수립하며, 특히 순환 선택을 사용할 경우 Lasso 문제에서 순차적 방법보다 더 높은 효율성을 보인다.

ABSTRACT

Consider the problem of minimizing the sum of a smooth (possibly non-convex) and a convex (possibly nonsmooth) function involving a large number of variables. A popular approach to solve this problem is the block coordinate descent (BCD) method whereby at each iteration only one variable block is updated while the remaining variables are held fixed. With the recent advances in the developments of the multi-core parallel processing technology, it is desirable to parallelize the BCD method by allowing multiple blocks to be updated simultaneously at each iteration of the algorithm. In this work, we propose an inexact parallel BCD approach where at each iteration, a subset of the variables is updated in parallel by minimizing convex approximations of the original objective function. We investigate the convergence of this parallel BCD method for both randomized and cyclic variable selection rules. We analyze the asymptotic and non-asymptotic convergence behavior of the algorithm for both convex and non-convex objective functions. The numerical experiments suggest that for a special case of Lasso minimization problem, the cyclic block selection rule can outperform the randomized rule.

연구 동기 및 목표

• 기계학습 및 신호처리에서 발생하는 대규모 비스무스스러운 비볼록 문제를 위한 확장 가능한 병렬 최적화 방법을 개발한다.
• 일련의 블록좌표강하법의 한계를 극복하기 위해 다수의 변수 블록을 동시에 업데이트할 수 있도록 한다.
• 일般적인 볼록 근사값 하에 병렬 비정확 BCD의 수렴 보장을 제공한다(점근적 및 비점근적 모두).
• 특히 Lasso 유형 문제에서 병렬 환경에서 순환 대비 무작위 블록 선택 규칙의 성능을 비교한다.
• 리프시츠 상수가 알려져 있지 않은 경우에도 일정 및 점차 감소하는 스텝 사이즈를 사용해 실용적인 구현을 가능하게 한다.

제안 방법

• 알고리즘은 목적함수의 매끄러운 부분을 국소적으로 근사하기 위해 연속 볼록 근사(Sequential Convex Approximation, SCA)를 사용하며, 각 블록마다 볼록 하위문제를 형성한다.
• 각 반복에서, 전체 목적함수의 볼록 근사를 최소화함으로써 일부 블록이 동시에 업데이트되며, 매개변수화된 근사 함수를 사용한 프록시멀 유사 업데이트 방식을 취한다.
• 순환 및 무작위 블록 선택 규칙을 모두 지원하며, Lasso 문제에 대한 수치 실험에서 순환 규칙이 무작위 선택보다 뛰어난 성능을 보였다.
• 선형 및 프록시멀 근사의 특수 케이스를 포함하는 일반적인 근사 프레임워크를 도입하여 이전 방법보다 더 큰 유연성을 제공한다.
• 충분한 감소 조건과 프록시멀 기울기 노름의 경계를 사용하여 수렴 분석을 수행하며, 이로 인해 비점근적 반복 복잡도 경계를 도출한다.
• 알고리즘은 동기식으로 동작하여 락 없는 방법에서 흔한 레이스 조건을 방지하며, 고성능 다중코어 아키텍처를 고려해 설계되었다.

실험 결과

연구 질문

• RQ1 일반적인 볼록 근사값을 사용할 때, 병렬 비정확 블록좌표강하법이 비스무스스러운 비볼록 문제에 대해 비점근 수렴을 달성할 수 있는가?
• RQ2 병렬 환경에서 순환 및 무작위 블록 선택 규칙은 수렴 속도와 효율성 측면에서 어떻게 비교되는가?
• RQ3 선형/프록시멀 이외의 일반적인 볼록 근사값을 사용할 경우 실질적으로 더 나은 수렴 행동을 이끌 수 있는가?
• RQ4 리프시츠 상수가 알려져 있지 않은 경우에도 감소하는 스텝 사이즈를 유지하면서 알고리즘이 효율성을 유지도할 수 있는가?
• RQ5 대규모 병렬 구현에서 통신 오버헤드와 프로세서 수의 영향은 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 제안된 병렬 비정확 BCD 방법은 볼록 및 비볼록 문제 모두에 대해 비점근 수렴을 달성하며, 반복 복잡도 경계를 제공한다.
• Lasso 최소화 문제에서 순환 블록 선택 규칙이 무작위 선택 규칙보다 뛰어나며, 구조화된 문제에서 더 나은 수렴 행동을 보인다.
• 일정 및 감소하는 스텝 사이즈 모두에서 수렴 보장이 이루어져 실무에서의 강인성을 향상시킨다.
• 병렬 업데이트 덕분에 순차적 BCD 방법보다 수렴 속도가 향상되지만, 통신 오버헤드로 인해 스피드업은 선형을 초과하지 않는다.
• 일반적인 볼록 근사값을 사용함으로써 선형/프록시멀 방법보다 더 날카운 국소 근사가 가능해져 수렴 효율성이 향상된다.