[논문 리뷰] Parallel and Distributed Block-Coordinate Frank-Wolfe Algorithms

Yu-Xiang Wang, Veeranjaneyulu Sadhanala외 4명|arXiv (Cornell University)|2014. 09. 22.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 32

한 줄 요약

이 논문은 블록 분리 가능한 제약 조건 하에서 대규모 최적화를 위한 이방향, 병렬 및 분산 블록-좌표 프랭크-울프 알고리즘(Ap-BCFW)을 제안한다. 이방향 업데이트와 기대 지연에 대한 약한 의존성 덕분에, 특히 구조적 서포트 벡터 머신과 그룹 융합 라소 문제에서 동기 및 순차적 변형보다 뚜렷한 성능 향상을 이룬다. 실용적인 조건 하에서 이론적 수렴 보장을 제공한다.

ABSTRACT

We develop parallel and distributed Frank-Wolfe algorithms; the former on shared memory machines with mini-batching, and the latter in a delayed update framework. Whenever possible, we perform computations asynchronously, which helps attain speedups on multicore machines as well as in distributed environments. Moreover, instead of worst-case bounded delays, our methods only depend (mildly) on \emph{expected} delays, allowing them to be robust to stragglers and faulty worker threads. Our algorithms assume block-separable constraints, and subsume the recent Block-Coordinate Frank-Wolfe (BCFW) method~\citep{lacoste2013block}. Our analysis reveals problem-dependent quantities that govern the speedups of our methods over BCFW. We present experiments on structural SVM and Group Fused Lasso, obtaining significant speedups over competing state-of-the-art (and synchronous) methods.

연구 동기 및 목표

• 대규모 최적화를 위한 프랭크-울프 알고리즘의 확장 가능하고 병렬적이며 분산 가능한 변형이 부족한 문제를 해결한다.
• 이방향 및 미니배치 업데이트를 지원함으로써 공유 메모리 및 분산 시스템에서 효율적인 계산을 가능하게 한다.
• 순차적 블록-좌표 프랭크-울프(BCFW)의 한계를 극복하여 다수의 코어 또는 노드 간 진정한 병렬성을 가능하게 한다.
• 최악의 지연이 아닌 기대 지연에만 의존함으로써 느린 작업자나 고장난 워커 스레드에 대한 강건성을 확보한다.
• 지연과 문제 구조에 대한 온건한 가정 하에서 원본 및 원-쌍대 목적 함수에 대한 이론적 수렴 보장을 제공한다.

제안 방법

• 이방향 업데이트와 미니배치를 지원하는 병렬 및 분산 블록-좌표 프랭크-울프 알고리즘인 Ap-BCFW를 제안한다.
• 비용이 많이 드는 사영을 피하기 위해 각 블록당 선형 오ракูล을 사용함으로써, 사영이 비가역적인 문제에서도 확장성을 확보한다.
• 이방향성과 무한한 지연이 존재하더라도 수렴을 보장하는 신중하게 선택된 스텝 사이즈를 도입한다.
• 문제에 따라 달라지는 상수, 특히 유계성 상수 $ C_f^{\tau} $ 와 제약 집합과 관련된 노름을 사용하여 수렴을 분석한다.
• Lacoste-Julien 등 [24]의 수렴 프레임워크를 수정하여 이방향 업데이트와 미니배치를 처리할 수 있도록 한다.
• 최악의 지연 상한이 아닌 기대 지연 상한을 활용함으로써 분산 환경에서의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 이방향성 하에서 수렴 보장이 유지되는 동안 프랭크-울프 방법을 효과적으로 병렬화하고 분산 처리할 수 있는가?
• RQ2 미니배치와 이방향 업데이트의 사용이 블록-좌표 프랭크-울프의 수렴 속도와 느린 작업자에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 Ap-BCFW가 원래 BCFW 방법보다 성능 향상을 보이는 데 영향을 주는 문제에 따라 달라지는 양상은 무엇인가?
• RQ4 동일한 가정 하에서 Ap-BCFW가 동기 및 병렬 블록-좌표 강하 방법보다 증명 가능하게 더 빠른 수렴을 달성할 수 있는가?
• RQ5 어떤 조건에서 미니배치가 블록-좌표 프랭크-울프의 수렴 속도를 수십 배에서 수백 배 이상 향상시킬 수 있는가?

주요 결과

• Ap-BCFW는 최신 동기 방법보다 몇 배 빠른 성능 향상을 보이며, 구조적 서포트 벡터 머신 문제에서 뚜렷한 성능 향상을 달성한다.
• 최악의 지연 상한이 아닌 기대 지연에만 의존함으로써 느린 작업자 및 고장난 워커 스레드에 대한 강건성을 입증한다.
• 구조적 서포트 벡터 머신의 경우, 표준 가정 하에서 블록 수 $ n $ 와 무관하게 수렴 속도가 $ O(R^2/\lambda k) $ 로 유지된다.
• 이론적 분석을 통해 Ap-BCFW는 병렬 블록-좌표 강하(P-BCD)와 동일한 $ O(1/k) $ 수렴 속도를 가지며, 더 단순한 선형 오라큘을 사용한다.
• 유리한 경우, 미니배치는 특히 선형 오라큘 계산이 효율적인 문제 구조를 가질 때 수렴 속도를 수십 배에서 수백 배 이상 향상시킬 수 있다.
• 이 방법은 BCFW를 일반화하며, 한 번에 한 개의 블록만 업데이트할 경우 특수한 경우로 축소된다.