[논문 리뷰] Walkman: A Communication-Efficient Random-Walk Algorithm for Decentralized Optimization

Xianghui Mao, Kun Yuan외 4명|arXiv (Cornell University)|2018. 04. 18.

Distributed Control Multi-Agent Systems참고 문헌 43인용 수 11

한 줄 요약

Walkman는 고정 단계 크기를 사용하는 분산 최적화 알고리즘으로, 각 반복에서 한 개의 링크만을 사용해 업데이트를 전파함으로써 통신 효율성을 높인다. 분산 최소 제곱 문제에 대해 선형 수렴를 달성하며, 이전 방법들에 비해 우수한 통신 복잡도를 보이며, 단계 크기를 줄이지 않아도 빠른 수렴을 이룬다.

ABSTRACT

This paper addresses consensus optimization problems in a multi-agent network, where all agents collaboratively find a minimizer for the sum of their private functions. We develop a new decentralized algorithm in which each agent communicates only with its neighbors. State-of-the-art decentralized algorithms use communications between either all pairs of adjacent agents or a random subset of them at each iteration. Another class of algorithms uses a random walk incremental strategy, which sequentially activates a succession of nodes; these incremental algorithms require diminishing step sizes to converge to the solution, so their convergence is relatively slow. In this work, we propose a random walk algorithm that uses a fixed step size and converges faster than the existing random walk incremental algorithms. Our algorithm is also communication efficient. Each iteration uses only one link to communicate the latest information for an agent to another. Since this communication rule mimics a man walking around the network, we call our new algorithm Walkman. We establish convergence for convex and nonconvex objectives. For decentralized least squares, we derive a linear rate of convergence and obtain a better communication complexity than those of other decentralized algorithms. Numerical experiments verify our analysis results.

연구 동기 및 목표

• 감소하는 단계 크기를 요구하는 기존의 랜덤 워크 점진적 알고리즘의 느린 수렴 문제를 해결하기 위해.
• 각 반복에서 한 개의 링크만을 사용하여 분산 최적화의 통신 오버헤드를 줄이되, 랜덤 워크를 모방함으로써.
• 고정 단계 크기를 사용하면서도 볼록 및 비볼록 목표 함수에 대해 전역 수렴을 유지하면서 더 빠른 수렴을 달성하기 위해.
• 분산 최소 제곱 문제에 대해 선형 수렴 속도를 확립하고, 기존 분산 알고리즘보다 통신 복잡도를 향상시키기 위해.

제안 방법

• 알고리즘은 각 반복에서 한 명의 에이전트를 선택하여 변수를 무작위 이웃에게 업데이트하고 전달하는 랜덤 워크 과정을 사용하며, 이로 인해 각 반복에 대해 오직 한 개의 통신 링크만 활성화된다.
• 고정 단계 크기를 사용함으로써, 정확한 해 수렴을 위해 감소하는 단계 크기를 요구하는 알고리즘보다 더 빠른 수렴을 가능하게 한다.
• 에이전트들이 국소 함수의 합을 공동으로 최소화하고 전역 정규화 항을 갖는 공감 최적화 프레임워크에 기반한다.
• 비가역 마코프 체인의 성질과 리아푸노프 분석을 사용하여 수렴성을 확립한다.
• 하위기울기 노름을 유한하게 제한하고 수렴 속도를 유도하기 위해 잠재 함수 $ L_{eta}^k $ 를 활용한다.
• 전역 동기화 없이도 조율가능성을 보장하며, 오직 국소 이웃 간의 상호작용에 의존한다.

실험 결과

연구 질문

• RQ1 고정 단계 크기를 사용하면서도 낮은 통신 비용을 유지하면서 선형 수렴를 달성할 수 있는 분산 최적화 알고리즘이 존재할 수 있는가?
• RQ2 랜덤 워크 통신 패턴은 게시(gossip) 또는 전수 이웃 통신과 비교해 수렴 속도와 통신 복잡도 측면에서 어떻게 다른가?
• RQ3 Walkman의 분산 최소 제곱 문제에 대한 통신 복잡도는 얼마이며, 최첨단 방법들과 비교해 어떻게 되는가?
• RQ4 비볼록 목표 함수에서 고정 단계 크기를 사용할 때 알고리즘이 정확한 해로 수렴할 수 있는가?
• RQ5 기저가 되는 마코프 체인의 혼합 시간이 알고리즘의 수렴 속도에 어떻게 영향을 주는가?

주요 결과

• Walkman는 이전의 랜덤 워크 방법들이 감소하는 단계 크기를 요구하는 것과 달리, 고정 단계 크기를 사용하면서도 분산 최소 제곱 문제에 대해 선형 수렴를 달성한다.
• Walkman의 통신 복잡도는 $ Oig(rac{ au( heta)^2 + 1}{(1 - heta)nar{ ho}}ig) $ 로, 기존의 분산 알고리즘보다 우수하다.
• θ = 1/2 인 가역 마코프 체인의 경우, $ ilde{O}(1/ε) $ 정밀도를 달성하기 위한 반복 복잡도는 $ Oig(τ(δ)^2 ∕ (1 - λ_2(Θ))^2ig) $ 이며, 여기서 $ τ(δ) $ 는 혼합 시간이다.
• 알고리즘이 거의 확실하게 $ ℓ \to ∞ ℎ \|g^k\| \to 0 $ 를 보장하여 정류점으로의 수렴을 증명한다.
• 수렴 속도는 리아푸노프 함수를 사용하고 반복의 슬라이딩 윈도우 동안 기대 하위기울기 노름을 유한하게 제한함으로써 유도된다.
• 수치 실험은 이론적 분석을 확인하며, 최첨단 분산 방법들보다 더 빠른 수렴과 더 낮은 통신 비용을 보여준다.