[논문 리뷰] The Sound of APALM Clapping: Faster Nonsmooth Nonconvex Optimization with Stochastic Asynchronous PALM

Damek Davis, Brent Edmunds외 1명|arXiv (Cornell University)|2016. 06. 07.

Sparse and Compressive Sensing Techniques인용 수 11

한 줄 요약

이 논문은 비볼록, 비연속 최적화 문제를 위한 새로운 스토하스틱 이방형 블록좌표 방법인 SAPALM을 소개한다. 이 방법은 다수의 워커를 사용할 때 증명 가능한 수렴성과 선형 속도 향상을 달성한다. 최적화 문제 유형에서 가장 잘 알려진 수렴 속도를 달성하며, 행렬 분해 작업에서 최신 기술 수준의 성능을 보여준다.

ABSTRACT

We introduce the Stochastic Asynchronous Proximal Alternating Linearized Minimization (SAPALM) method, a block coordinate stochastic proximal-gradient method for solving nonconvex, nonsmooth optimization problems. SAPALM is the first asynchronous parallel optimization method that provably converges on a large class of nonconvex, nonsmooth problems. We prove that SAPALM matches the best known rates of convergence --- among synchronous or asynchronous methods --- on this problem class. We provide upper bounds on the number of workers for which we can expect to see a linear speedup, which match the best bounds known for less complex problems, and show that in practice SAPALM achieves this linear speedup. We demonstrate state-of-the-art performance on several matrix factorization problems.

연구 동기 및 목표

• 기존 방법이 수렴 보장을 갖지 못하는 비볼록, 비연속 최적화 문제를 위한 확장 가능하고 이방형 최적화 방법을 개발하기 위해.
• 이 문제 유형에서 동기 및 이방형 방법의 최고 수준 성과를 달성하는 수렴 속도를 확보하기 위해.
• 선형 속도 향상을 달성할 수 있는 워커 수에 대한 이론적 경계를 제공하기 위해.
• 실제 행렬 분해 문제에서 실용적 효율성과 확장성을 입증하기 위해.

제안 방법

• SAPALM은 노이즈가 있는 기울기 추정치를 사용하여 변수를 블록 단위로 갱신하는 스토하스틱, 이방형, 블록좌표 프록시-그라디언트 방법이다.
• 목적 함수의 비연속 항을 다루기 위해 교차 선형화 최소화 전략을 사용한다.
• 여러 워커 간에 독립적이고 이방형으로 갱신이 가능하여 동기화 병목 현상을 줄인다.
• 수렴 보장을 위해 백트래킹 선색색 또는 고정 단계 크기를 사용한다. 이는 약한 가정 하에 수렴 보장을 보장한다.
• 워커로부터 지연되거나 순서가 어긋난 갱신이 있어도 수렴 보장을 유지한다.
• 이론적 분석을 통해 비볼록, 비연속 문제에 대한 표준 가정 하에 정류점으로의 수렴을 입증한다.

실험 결과

연구 질문

• RQ1 이방형, 스토하스틱, 블록좌표 방법이 비볼록, 비연속 최적화 문제에 대해 증명 가능한 수렴성을 달성할 수 있는가?
• RQ2 이론적 및 실질적으로 선형 속도 향상을 달성할 수 있는 워커의 최대 수는 얼마인가?
• RQ3 SAPALM의 수렴 속도는 이 문제 유형에서 기존의 동기 및 이방형 방법과 비교해 어떻게 되는가?
• RQ4 기존 방법과 비교해 SAPALM은 행렬 분해 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 이방형 환경에서 선형 속도 향상을 유지하는 데 있어 워커 수에 대한 이론적 경계는 무엇인가?

주요 결과

• SAPALM은 비볼록, 비연속 최적화 문제의 광범위한 클래스에서 증명 가능한 수렴성을 갖는 첫 번째 이방형 방법이다.
• 동기 및 이방형 방법의 최고 수준 성과를 달성하는 수렴 속도를 확보한다.
• 선형 속도 향상을 위한 워커 수에 대한 이론적 상한은 더 단순한 문제 유형의 최고 수준 경계와 일치한다.
• 실험 결과는 SAPALM이 다수의 워커에서 실질적으로 선형 속도 향상을 달성함을 보여준다.
• 여러 행렬 분해 벤치마크에서 SAPALM은 최신 기술 수준의 성능을 보여준다.
• 비연속 항을 프록시 갱신을 통해 효과적으로 처리하면서도, 이방형 환경에서도 수렴성을 유지한다.