[논문 리뷰] On Unbounded Delays in Asynchronous Parallel Fixed-Point Algorithms

Robert Hannah, Wotao Yin|arXiv (Cornell University)|2016. 09. 15.

Stochastic Gradient Optimization Techniques참고 문헌 10인용 수 5

한 줄 요약

이 논문은 이전 연구에서 유한한 지연을 요구했던 바탕이 되는 조건을 벗어나, 무한한 지연 하에서도 ARock 비동기 병렬 고정점 알고리즘의 수렴성을 확립한다. 적응형 스텝 사이즈와 새로운 리아푸노프 함수를 도입함으로써, 더 큰 지연에 따라 조정되는 스텝 사이즈를 사용함으로써 실용적인 수렴성을 달성하였으며, 지연 분포나 연산자 구조에 대한 제약 없는 가정 없이 대규모 최적화 및 머신러닝 분야에 광범위하게 적용 가능하게 하였다.

ABSTRACT

The need for scalable numerical solutions has motivated the development of asynchronous parallel algorithms, where a set of nodes run in parallel with little or no synchronization, thus computing with delayed information. This paper studies the convergence of the asynchronous parallel algorithm ARock under potentially unbounded delays. ARock is a general asynchronous algorithm that has many applications. It parallelizes fixed-point iterations by letting a set of nodes randomly choose solution coordinates and update them in an asynchronous parallel fashion. ARock takes some recent asynchronous coordinate descent algorithms as special cases and gives rise to new asynchronous operator-splitting algorithms. Existing analysis of ARock assumes the delays to be bounded, and uses this bound to set a step size that is important to both convergence and efficiency. Other work, though allowing unbounded delays, imposes strict conditions on the underlying fixed-point operator, resulting in limited applications. In this paper, convergence is established under unbounded delays, which can be either stochastic or deterministic. The proposed step sizes are more practical and generally larger than those in the existing work. The step size adapts to the delay distribution or the current delay being experienced in the system. New Lyapunov functions, which are the key to analyzing asynchronous algorithms, are generated to obtain our results. A set of applicable optimization algorithms with large-scale applications are given, including machine learning and scientific computing algorithms.

연구 동기 및 목표

• 기존의 비동기 고정점 알고리즘에서 수렴을 위해 유한한 지연이 필요하다는 한계를 해결하기 위해.
• ARock 알고리즘이 무한한 지연, 즉 확률적 또는 결정적 지연 하에서도 수렴하도록 보장하기 위해.
• 지연 분포 또는 현재 지연에 따라 스케일링되는 실용적인 적응형 스텝 사이즈를 개발하여 효율성을 향상시키기 위해.
• 무한한 지연이 존재하는 비동기 갱신의 역학을 포괄하는 새로운 리아푸노프 함수를 구축하기 위해.
• ARock의 적용 가능성을 머신러닝 및 과학 계산 분야의 대규모 최적화 문제로 확장하기 위해.

제안 방법

• 논문은 새로운 리아푸노프 함수의 새로운 클래스를 도입함으로써, 무한한 지연을 허용하는 ARock에 대한 수렴 분석 프레임워크를 제안한다.
• 전체적으로 유한한 상한이 필요로 하지 않는, 현재 지연 또는 지연 분포에 따라 의존하는 적응형 스텝 사이즈를 유도한다.
• 비동기 갱신을 지연된 정보를 가진 확률적 좌표 반복으로 모델링하고, 확률적 근사 기법을 사용한다.
• 임의의 지연 수열을 수용할 수 있도록 일반화된 고정점 반복 프레임워크를 활용한다.
• 유한한 지연 가정이 필요 없도록 하면서도 수렴 보장을 유지함으로써 이전 결과를 일반화한다.
• 새로운 비동기 연산 분할 알고리즘을 유도하고, 기존의 비동기 좌표 강하 방법을 확장한다.

실험 결과

연구 질문

• RQ1 기존 연구에서 유한한 지연이 요구되었지만, ARock 알고리즘이 무한한 지연 하에서도 수렴할 수 있는가?
• RQ2 무한한 지연에 대응하기 위해 스텝 사이즈를 어떻게 적응시켜 수렴 속도와 실용성을 향상시킬 수 있는가?
• RQ3 무한한 지연 하에서 수렴성을 분석하기 위해 어떤 새로운 리아푸노프 함수가 필요한가?
• RQ4 무한한 지연 하에서 수렴하기 위해 고정점 연산자에 어떤 조건이 필요하는가?
• RQ5 제안된 프레임워크를 어떻게 적용하여 대규모 최적화를 위한 새로운 비동기 알고리즘을 유도할 수 있는가?

주요 결과

• ARock 알고리즘은 유한한 지연 상한이 없이도, 확률적 및 결정적 지연 하에서도 수렴한다.
• 제안된 스텝 사이즈는 적응형이며, 이전의 유한 지연 분석에서의 것보다 일반적으로 더 크며, 알고리즘의 효율성을 향상시킨다.
• 무한한 지연이 존재하는 비동기 갱신의 에너지 감소를 포착하는 새로운 리아푸노프 함수가 구성되었다.
• 수렴 분석은 넓은 범위의 고정점 연산자에 적용 가능하며, 최적화 및 머신러닝 분야에 넓은 적용 가능성을 제공한다.
• 이 프레임워크는 새로운 비동기 연산 분할 알고리즘을 도출하고, 기존의 비동기 좌표 강하 방법을 일반화한다.
• 이 방법은 머신러닝 및 과학 계산 분야의 대규모 문제에 적용 가능하며, 실용적인 스텝 사이즈 선택이 검증되었다.