[논문 리뷰] Asynchronous Coordinate Descent under More Realistic Assumptions

Tao Sun, Robert Hannah외 1명|arXiv (Cornell University)|2017. 05. 20.

Statistical Methods and Inference참고 문헌 13인용 수 12

한 줄 요약

이 논문은 블록 업데이트와 지연 벡터 간의 비현실적인 독립성 가정을 제거함으로써 더 현실적인 조건 하에서 이방향 블록 좌표 강하의 수렴성을 확립한다. 지연을 외부 노이즈가 아닌 내재된 구성 요소로 모델링하는 지연 인지 Lyapunov 함수를 도입하여, 결정론적 및 확률적 블록 선택 규칙 하에서 유계 및 무한대 지연 모두에 대해 비볼록, 약볼록, 강볼록 함수에 대해 수렴성을 증명한다.

ABSTRACT

Asynchronous-parallel algorithms have the potential to vastly speed up algorithms by eliminating costly synchronization. However, our understanding to these algorithms is limited because the current convergence of asynchronous (block) coordinate descent algorithms are based on somewhat unrealistic assumptions. In particular, the age of the shared optimization variables being used to update a block is assumed to be independent of the block being updated. Also, it is assumed that the updates are applied to randomly chosen blocks. In this paper, we argue that these assumptions either fail to hold or will imply less efficient implementations. We then prove the convergence of asynchronous-parallel block coordinate descent under more realistic assumptions, in particular, always without the independence assumption. The analysis permits both the deterministic (essentially) cyclic and random rules for block choices. Because a bound on the asynchronous delays may or may not be available, we establish convergence for both bounded delays and unbounded delays. The analysis also covers nonconvex, weakly convex, and strongly convex functions. We construct Lyapunov functions that directly model both objective progress and delays, so delays are not treated errors or noise. A continuous-time ODE is provided to explain the construction at a high level.

연구 동기 및 목표

• 실제 응용에서 이방향 좌표 강하에 대한 수렴 이론 부족 문제를 해결하기 위해.
• 이전 분석에서 블록 색인과 지연 벡터 간의 비현실적인 독립성 가정을 제거하기 위해.
• 지연을 노이즈나 오차로 모델링하지 않고도 유계 및 무한대 지연 모두에 대해 수렴성을 확보하기 위해.
• 확률적 및 결정론적 블록 선택 규칙(순환 및 무작위 선택 포함) 모두에 대해 수렴 보장을 제공하기 위해.
• 비볼록, 약볼록, 강볼록 함수에 대해 단일 프레임워크 내에서 수렴 분석을 통합하기 위해.

제안 방법

• 목표 기여도 및 지연 동역학을 직접 통합하는 새로운 Lyapunov 함수를 제안하여, 지연을 외부 교란이 아닌 체계적 구성 요소로 간주한다.
• 연속 시간 ODE 모델을 활용해 Lyapunov 함수의 구성에 통찰을 제공하고 고수준의 직관을 부여한다.
• 무한대 지연에 적응하는 단계 크기 $ \gamma_k = c / D_{j(k)} $ 를 도입하며, 여기서 $ D_{j(k)} $ 는 누적 지연 가중치에 의존한다.
• 무한대 지연에 대해 부분수열 기반 분석을 활용하여 현재 지연이 $ T $ 에 의해 유계화된 점들인 $ Q_T $ 에 집중한다.
• 모든 블록이 임의의 창 내에서 충분히 자주 업데이트되도록 보장하기 위해 ECSD(기본적으로 순환적인 반무한 지연) 가정을 적용한다.
• Lyapunov 함수 감소를 통해 충분한 내림폭 조건을 유도하여 $ H_k - H_{k+1} \geq L(\frac{1}{\gamma_k} - D_{j(k)})\|\Delta^k\|_2^2 $ 를 증명한다.

실험 결과

연구 질문

• RQ1 블록 선택과 지연 벡터 간의 독립성 가정 없이도 이방향 블록 좌표 강하가 수렴할 수 있는가?
• RQ2 사전에 지연의 상한이 없이도 무한대 지연 하에서 수렴을 보장할 수 있는가?
• RQ3 확률적 및 결정론적 블록 선택 규칙 모두에서 수렴을 확보할 수 있는가?
• RQ4 비볼록, 약볼록, 강볼록 함수를 하나의 통합 프레임워크 내에서 다룰 수 있는가?
• RQ5 수렴 증명에서 지연을 노이즈나 오차가 아닌 체계의 내재적 구성 요소로 모델링할 수 있는가?

주요 결과

• 확률적 블록 선택과 무한대 지연 하에서 독립성 가정 없이도 $ \mathbb{E}\|\nabla f(x^k)\|_2 \to 0 $ 의 수렴이 입증된다.
• 강볼록 함수의 경우 적절한 단계 크기 및 지연 적응형 규칙 하에서 선형 수렴 $ \mathbb{E}(f(x^k) - \min f) = O(c^k) $ 이 달성되며, $ c < 1 $ 이다.
• ECSD 가정 하에서 결정론적 블록 선택이 이루어질 경우, 임의의 $ T \geq B $ 에 대해 $ \lim_{k \in Q_T} \|\nabla f(x^k)\|_2 = 0 $ 이 성립하여 유계 지연 부분수열에서의 수렴을 보장한다.
• Lyapunov 함수 $ H_k = f(x^k) + \frac{L}{2} \sum_{i=1}^\infty \kappa_i \|\Delta^{k-i}\|_2^2 $ 는 충분한 내림폭과 지연 인지 안정성을 보장한다.
• 분석은 지연을 외부 노이즈가 아닌 체계적 특성으로 간주하여 보다 날카롭고 현실적인 수렴 보장을 가능하게 한다.
• 유계 및 무한대 지연 모두에 대해 비볼록, 약볼록, 강볼록 함수를 하나의 이론적 프레임워크 내에서 수렴성 확보가 이루어졌다.