[논문 리뷰] The Asynchronous PALM Algorithm for Nonsmooth Nonconvex Problems

Damek Davis|arXiv (Cornell University)|2016. 04. 02.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 25

한 줄 요약

이 논문은 비연속, 비볼록 최적화 문제를 해결하기 위한 Proximal Alternating Linearized Minimization (PALM) 방법의 새로운 확장인 이방식 PALM 알고리즘을 소개한다. 동기화 없이 좌표 블록 간에 비동기적으로 병렬 업데이트를 가능하게 함으로써, 계산 코어 수에 비례하여 선형 속도 향상을 달성한다. 주요 이론적 기여는 반복점의 군집점이 정류점임을 증명하고, Kurdyka-Łojasiewicz (KL) 성질 하에서 전역 수렴을 보이며, 특수한 경우에 수렴 속도 분석을 수행한 것이다. 이는 일반화된 낮은 질서 행렬 모델(GLRMs)에 대해 검증되었다.

ABSTRACT

We introduce the Asynchronous PALM algorithm, a new extension of the Proximal Alternating Linearized Minimization (PALM) algorithm for solving nonsmooth, nonconvex optimization problems. Like the PALM algorithm, each step of the Asynchronous PALM algorithm updates a single block of coordinates; but unlike the PALM algorithm, the Asynchronous PALM algorithm eliminates the need for sequential updates that occur one after the other. Instead, our new algorithm allows each of the coordinate blocks to be updated asynchronously and in any order, which means that any number of computing cores can compute updates in parallel without synchronizing their computations. In practice, this asynchronization strategy often leads to speedups that increase linearly with the number of computing cores. We introduce two variants of the Asynchronous PALM algorithm, one stochastic and one deterministic. In the stochastic extit{and} deterministic cases, we show that cluster points of the algorithm are stationary points. In the deterministic case, we show that the algorithm converges globally whenever the Kurdyka-Łojasiewicz property holds for a function closely related to the objective function, and we derive its convergence rate in a common special case. Finally, we provide a concrete case in which our assumptions hold.

연구 동기 및 목표

• 비연속, 비볼록 문제에 대해 순차적 업데이트에서 발생하는 계산 병목 현상을 해결한다.
• 좌표 업데이트 간의 동기화 제약을 제거하여 확장 가능한 병렬 최적화를 가능하게 한다.
• 이전 연구보다 더 넓은 문제 범주에서 비동기 업데이트에 대한 이론적 수렴 보장을 제공한다.
• 일반화된 낮은 질서 행렬 모델(GLRMs)과 같은 복잡한 모델에 대해 일阶 방법의 적용 가능성을 확장한다.
• 관련 함수에 대해 Kurdyka-Łojasiewicz (KL) 성질이 성립할 경우 전역 수렴을 확립하여 비볼록 환경에서의 실용적 수렴을 보장한다.

제안 방법

• 이방식 PALM 알고리즘의 두 변종(스토케스틱 및 결정론적)을 제안한다.
• 각 좌표 블록이 프록시-그라디언트 단계를 사용하여 독립적이고 비동기적으로 업데이트될 수 있도록 한다.
• 계산 코어 간의 조율이나 동기화 없이도 공유된 전역 메모리를 사용하여 업데이트를 수행한다.
• 비동기 업데이트 오차를 수용하는 감소하는 리아푸노프 함수를 도입하여, 수렴 분석에서 비감소하는 목적 함수를 대체한다.
• 비연속 Kurdyka-Łojasiewicz (KL) 성질을 활용하여 수렴을 증명하며, 원래 PALM 논문의 증명 프레임워크를 적응시킨다.
• KL 성질 하에서 수렴 속도를 분석하며, 특히 목적 함수가 지수 값이 $ (0, 1/2] $ 인 KL 조건을 만족하는 일반적인 특수한 경우를 중심으로 다룬다.

실험 결과

연구 질문

• RQ1 PALM 알고리즘에서 비동기적 병렬 업데이트가 비연속, 비볼록 문제에 대해 수렴성을 유지할 수 있는가?
• RQ2 목적 함수가 반드시 감소하지 않는 조건에서 비동기 업데이트에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ3 이방식 PALM 알고리즘이 어떤 조건에서 정류점으로 전역 수렴하는가?
• RQ4 행렬 분해 및 GLRMs와 같은 실질적인 대규모 문제에서 알고리즘의 성능은 어떠한가?
• RQ5 Kurdyka-Łojasiewicz (KL) 성질과 준대수학적 성질이 비동기 설정에서 수렴을 보장하는 데 얼마나 기여하는가?

주요 결과

• 스토케스틱 및 결정론적 변종 모두에 대해 이방식 PALM 반복점의 군집점은 정류점이다.
• 결정론적 경우에서, 관련 함수에 대해 Kurdyka-Łojasiewicz (KL) 성질이 성립할 경우 알고리즘이 정류점으로 전역 수렴한다.
• KL 지수 값이 $ (0, 1/2] $ 인 일반적인 특수한 경우에서 $ O(1/k) $ 의 수렴 속도가 확립된다.
• 비동기성과 동기화의 부재로 인해 계산 코어 수에 비례하여 선형 속도 향상을 달성한다.
• 행렬 분해 및 주성분 분석(PCA) 변종을 포함한 일반화된 낮은 질서 행렬 모델(GLRMs)과 같은 구체적 문제들에서 수렴 이론의 가정들이 충족된다.
• GLRM 프레임워크는 알고리즘의 가정—강력한 강하성(coercivity), 준대수학성(semi-algebraicity), $ \nabla f $ 의 리프시츠 연속성—이 충족되는 бог관한 문제의 클래스를 제공하며, 실용적 관련성을 검증한다.