[논문 리뷰] Rate of Convergence for Distributed Optimization with Uncertain Communications

Pouya Rezaeinia, Bahman Gharesifard|arXiv (Cornell University)|2020. 03. 23.

Distributed Control Multi-Agent Systems참고 문헌 17인용 수 6

한 줄 요약

이 논문은 랜덤 방향 통신 그래프에서 분산 최적화를 위한 수정된 푸시-섬 알고리즘을 제안하며, 이러한 스토케스틱 설정에서 처음으로 O(1/√t) 수렴 속도 상한을 확립한다. 불확실하고 시간에 따라 변화하는 네트워크 구조에서 수렴 속도를 분석하여, 행렬 곱의 확률적 경계와 변동 조절을 통해 거의 확실한 수렴과 명시적인 오차 감쇠 속도를 증명한다.

ABSTRACT

We consider the distributed optimization problem for the sum of convex functions where the underlying communications network connecting agents at each time is drawn at random from a collection of directed graphs. Building on an earlier work [15], where a modified version of the subgradient-push algorithm is shown to be almost surely convergent to an optimizer on sequences of random directed graphs, we find an upper bound of the order of $\sim O(\frac{1}{\sqrt{t}})$ on the convergence rate of our proposed algorithm, establishing the first convergence bound in such random settings.

연구 동기 및 목표

• 기존 연구에서의 격차를 메우기 위해, 랜덤 통신 그래프 하에서 분산 최적화의 수렴 속도 상한을 확립하는 것.
• 통신 토폴로지가 시간에 따라 변화하고 랜덤으로 선택되는 스토케스틱 네트워크 환경에서 수정된 푸시-섬 알고리즘의 수렴 속도를 분석하는 것.
• 유한한 변동 조건 하에서 오차 상한을 명시적으로 유도하여 O(1/√t)로 감쇠하는 것.
• 통신 링크가 불확실하고 동적으로 변화하는 조건에서 분산 서브그래디언트 방법의 수렴 속도에 대한 이론적 보장을 제공하는 것.

제안 방법

• 논문은 각 에이전트가 값 추정치와 가중치 추정치를 유지하는 수정된 푸시-섬 알고리즘(MPP)을 사용하며, 국소 평균화와 정규화를 통해 이를 갱신한다.
• 각 시간 단계에서의 통신 네트워크를 랜덤 방향 그래프로 모델링하며, 인접 행렬 W(t)는 가용 링크와 가중치를 나타낸다.
• 수렴 분석은 영향력의 감쇠를 캡처하는 양 Λt,s를 사용하여 랜덤 열-스토케스틱 행렬의 곱을 상한으로 제한한다.
• Λt,s에 대한 확률적 尾(꼬리) 경계를 도입하여, P(Λt,s > 2λ^{t−s}) ≤ 13e^{−c₁(t−s)} 및 E[Λt,s] ≤ 15λ^{t−s}를 증명하며, 여기서 λ ∈ (0,1)은 네트워크 크기와 연결성에 따라 결정된다.
• 유한한 변동 조건 ‖ε(t)‖₁ ≤ U/t^γ를 가정하고, 시간에 따라 평균화하는 데 사용되는 조화 평균 가중치 α(k+1) = 1/(k+1)^γ를 사용한다.
• 기대값과 적분 비교를 통해 핵심 오차 상한을 유도하며, γ = 1/2 조건 하에서 O(1/√t) 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 각 시간 단계에서 랜덤으로 선택된 통신 그래프를 가진 상황에서 분산 최적화 알고리즘의 수렴 속도는 무엇인가?
• RQ2 랜덤하고 불확실한 통신 패tern 하에서 수정된 푸시-섬 알고리즘이 증명 가능한 수렴 속도 보장을 달성할 수 있는가?
• RQ3 랜덤 네트워크 실현이 수렴 속도에 어떤 영향을 미치며, 이는 행렬 곱의 확률적 경계를 통해 정량화될 수 있는가?
• RQ4 어떤 조건에서 변동과 네트워크 연결성이 특정 수렴 속도, 예를 들어 O(1/√t)를 보장하는가?

주요 결과

• 논문은 랜덤 방향 통신 그래프 하에서 분산 최적화에 대해 O(1/√t) 수렴 속도 상한을 처음으로 확립한다.
• 평균 상태 추정치의 기대 오차는 O(1/√t)로 감쇠하며, 이 상한은 초기 상태 노름, 변동 크기, 네트워크 파라미터에 의존한다.
• 분석 결과, 랜덤 열-스토케스틱 행렬의 곱이 기대값에서 지수적으로 감쇠함을 보여주며, E[Λt,s] ≤ 15λ^{t−s} 및 λ < 1이며, 이는 네트워크 크기와 연결성에 따라 결정된다.
• 변동이 ‖ε(t)‖₁ ≤ U/t^γ 조건을 만족할 경우, γ = 1/2일 때 수렴 속도가 O(1/√t)에 도달하며, 이는 평균 가중치의 조화 감쇠와 일치한다.
• 상한은 적분 비교와 확률적 꼬리 추정을 통해 유도되며, 시간에 따른 가중치 평균 오차의 유한 기대값을 도출한다.
• 결과는 알고리즘이 거의 확실하게 수렴함을 확인하며, 정량적 속도를 제공함으로써 이전 연구에서 누락된 랜덤 네트워크 최적화의 핵심 문제를 해결한다.