[논문 리뷰] Achieving Linear Convergence in Distributed Asynchronous Multi-agent Optimization

Ye Tian, Ying Sun외 1명|arXiv (Cornell University)|2018. 03. 28.

Distributed Control Multi-Agent Systems참고 문헌 52인용 수 16

한 줄 요약

이 논문은 임의의 유한한 시간에 따라 변하는 지연과 비동기적 업데이트를 가정할 때 강凸 문제에 대해 R-선형(기하학적) 수렴을 달성하는 분산 비동기 다중 에이전트 최적화 알고리즘을 제안한다. 이 알고리즘은 지연된 정보를 사용하여 평균 기울기를 추정하는 강건한 기울기 추적 메커니즘을 도입하여, 조율이나 지연에 대한 지식 없이도 수렴 가능하게 하며, 이는 이러한 일반적인 비동기 설정에서 증명 가능한 선형 수렴을 보장하는 최초의 알고리즘이다.

ABSTRACT

This papers studies multi-agent (convex and \emph{nonconvex}) optimization over static digraphs. We propose a general distributed \emph{asynchronous} algorithmic framework whereby i) agents can update their local variables as well as communicate with their neighbors at any time, without any form of coordination; and ii) they can perform their local computations using (possibly) delayed, out-of-sync information from the other agents. Delays need not be known to the agent or obey any specific profile, and can also be time-varying (but bounded). The algorithm builds on a tracking mechanism that is robust against asynchrony (in the above sense), whose goal is to estimate locally the average of agents' gradients. When applied to strongly convex functions, we prove that it converges at an R-linear (geometric) rate as long as the step-size is {sufficiently small}. A sublinear convergence rate is proved, when nonconvex problems and/or diminishing, {\it uncoordinated} step-sizes are considered. To the best of our knowledge, this is the first distributed algorithm with provable geometric convergence rate in such a general asynchronous setting. Preliminary numerical results demonstrate the efficacy of the proposed algorithm and validate our theoretical findings.

연구 동기 및 목표

• 정적 방향 그래프 위에서 운영되는 다중 에이전트 시스템을 위한 분산 최적화 알고리즘을 설계한다. 이는 조율이나 중심 집중식 스케줄링이 필요하지 않다.
• 에이전트가 오래된 정보를 사용할 때조차도 통신 및 계산에서 임의의 유한한 시간에 따라 변하는 지연이 존재하는 상황에서도 수렴 가능하도록 보장한다.
• 비동기성과 지연된 정보가 존재하는 상황에서도 강凸 문제에 대해 R-선형 수렴 속도를 달성한다.
• 비볼록 문제로의 프레임워크 확장을 통해 감소하는 비동기적 스텝 사이즈 하에서 하위선형 수렴을 달성한다.
• 지연 프로파일이나 활성화 패tern에 대한 최소한의 가정으로도 병렬 비동기 업데이트를 지원하는 통합된 알고리즘 프레임워크를 제공한다.

제안 방법

• 알고리즘은 이웃 에이전트로부터 오는 지연되고 비동기적인 정보를 사용하여 에이전트 기울기의 평균을 추정하는 분산 기울기 추적 메커니즘을 활용한다.
• 정보를 네트워크 전역으로 전파하기 위해 가중치가 부여된 혼합 행렬을 사용하며, 이는 임의의 지연 조건 하에서도 수렴을 보장한다.
• 이 방법은 유한한 지연과 행렬 원소의 하한을 활용하여 비동기성에 대한 강건성을 유지하는 새로운 추적 메커니즘을 도입한다.
• 알고리즘은 조율되지 않은 감소하는 스텝 사이즈를 사용하며, 지연 프로파일이나 동기화에 대한 지식이 필요하지 않다.
• 핵심 구성 요소는 시간이 지남에 따라 각 에이전트의 정보가 미치는 影響에 대해 균일한 하한을 보장하는 확률적 벡터의 수열을 구성하는 것이다.
• 이론적 분석은 시간 간격에 걸쳐 추적 메커니즘의 오차를 압축하는 방식으로 이루어지며, 강凸 조건 하에서 선형 수렴을 이끌어낸다.

실험 결과

연구 질문

• RQ1 에이전트가 오래된 정보를 사용하고 비동기적으로 업데이트할 때, 분산 비동기 알고리즘이 강凸 문제에 대해 R-선형 수렴을 달성할 수 있는가?
• RQ2 지연 지식이나 조율 없이도 임의의 유한한 시간에 따라 변하는 지연 하에서 선형 수렴을 보장하는 분산 알고리즘을 설계할 수 있는가?
• RQ3 다중 에이전트 시스템에서 방향 통신 그래프를 가질 때 기울기 추적을 어떻게 비동기성에 강건하게 만들 수 있는가?
• RQ4 스텝 사이즈와 네트워크 구조에 어떤 조건이 요구되어야 비볼록 설정에서 정확한 해로의 전역 수렴이 보장되는가?
• RQ5 제안된 프레임워크는 비동기적 병렬 업데이트를 지원하면서도 수렴 보장을 유지할 수 있는가?

주요 결과

• 적절히 작은 스텝 사이즈를 사용할 경우, 제안된 알고리즘은 임의의 유한한 시간에 따라 변하는 지연이 존재하는 상황에서도 강凸 문제에 대해 R-선형 수렴을 달성한다.
• 비볼록 문제에 대해서는 감소하는 비동기적 스텝 사이즈를 사용할 경우 하위선형 수렴을 달성한다.
• 이 알고리즘은 가장 일반적인 비동기 모델인 비동기 업데이트, 임의의 지연, 조율 또는 지연 지식이 없는 조건 하에서도 증명 가능한 수렴성을 보장한다.
• 기울기 추적 메커니즘은 오래된 정보가 존재하더라도 평균 기울기 추정치가 유한하고 정확하게 유지됨을 보장한다.
• 이론적 분석을 통해 각 에이전트의 정보가 시간이 지남에 따라 균일한 하한을 가지며, 이는 수렴 가능성을 보장한다.
• 수치 결과로 검증된 바에 따르면, 이 알고리즘은 이러한 일반적인 설정에서 증명 가능한 기하학적 수렴 속도를 보장하는 최초의 분산 비동기 방법이다.