[논문 리뷰] Decentralized Consensus Algorithm with Delayed and Stochastic Gradients

Benjamin Sirb, Xiaojing Ye|arXiv (Cornell University)|2016. 04. 19.

Distributed Control Multi-Agent Systems참고 문헌 47인용 수 9

한 줄 요약

이 논문은 노드 간 동기화가 불가능한 네트워크에서 분산 최적화를 위한 지연 및 확률적 그래디언트를 사용하는 탈중앙화된 공감 알고리즘을 제안한다. 유한한 기대 지연과 점점 줄어드는 스텝 사이즈 조건 하에서 최적 해로의 수렴을 증명하며, 목적 함수 및 공감 오차에 대한 수렴 속도를 확립한다.

ABSTRACT

We analyze the convergence of decentralized consensus algorithm with delayed gradient information across the network. The nodes in the network privately hold parts of the objective function and collaboratively solve for the consensus optimal solution of the total objective while they can only communicate with their immediate neighbors. In real-world networks, it is often difficult and sometimes impossible to synchronize the nodes, and therefore they have to use stale gradient information during computations. We show that, as long as the random delays are bounded in expectation and a proper diminishing step size policy is employed, the iterates generated by decentralized gradient descent method converge to a consensual optimal solution. Convergence rates of both objective and consensus are derived. Numerical results on a number of synthetic problems and real-world seismic tomography datasets in decentralized sensor networks are presented to show the performance of the method.

연구 동기 및 목표

• 노드가 동기화할 수 없고 오래된 그래디언트 정보를 사용해야 하는 네트워크에서 탈중앙화 최적화의 과제를 해결한다.
• 네트워크 전반에 걸쳐 그래디언트 업데이트의 무작위 지연이 존재하더라도 일致된 최적 해로의 수렴을 보장한다.
• 반복 횟수, 지연 수준, 네트워크 구조를 고려하여 목적 함수 값과 공감 오차의 수렴 속도를 분석한다.
• 현실적인 이방형 환경에서 지연 및 확률적 그래디언트를 갖는 탈중앙화 그래디언트 하강법에 대한 이론적 보장을 제공한다.
• 합성 문제와 실제 지구물리학적 토모그래피 데이터 세트에서 방법의 강건성과 성능을 시연한다.

제안 방법

• 네트워크의 노드들에 분산된 볼록 함수의 합을 최소화하는 방식으로 탈중앙화 공감 문제를 수립한다.
• 각 노드의 국소 목적 함수를 무작위 노이즈를 갖는 확률적 함수로 모델링하고, 비편향된 확률적 그래디언트를 사용하여 계산한다.
• 동기화가 불가능하기 때문에 지연된 그래디언트 정보를 통합하는 탈중앙화 그래디언트 하강 알고리즘을 도입한다.
• 오래된 그래디언트 업데이트에도 불구하고 수렴을 보장하기 위해 점점 줄어드는 스텝 사이즈 정책을 적용한다.
• 리아푸노프 유사 분석을 사용하여 반복값의 기대 오차를 바ounds하고 수렴 속도를 유도한다.
• 요우의 부등식과 비편향된 확률적 그래디언트의 성질을 활용하여 지연 및 노이즈가 있는 그래디언트에서 발생하는 오차 항을 제어한다.

실험 결과

연구 질문

• RQ1 지연 및 확률적 그래디언트를 갖는 탈중앙화 그래디언트 하강법이 이방형 네트워크에서 최적 해로 수렴할 수 있는가?
• RQ2 기대 지연이 유한할 조건 하에서 목적 함수 값과 공감 오차의 수렴 속도는 어떻게 되는가?
• RQ3 네트워크 구조와 지연 수준은 탈중앙화 알고리즘의 수렴 행동에 어떤 영향을 미치는가?
• RQ4 그래디언트 정보가 오래되었고 노이즈가 많을 경우 수렴을 보장하는 스텝 사이즈 정책은 무엇인가?
• RQ5 지구물리학적 토모그래피와 같은 고차원이고 노이즈가 많은 실제 데이터 세트에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 기대 지연이 유한하고 점점 줄어드는 스텝 사이즈 정책을 사용할 경우 알고리즘이 거의 확실히 최적 해로 수렴한다.
• 제시된 가정 하에 목적 함수의 수렴 속도는 $ O(1/ au) $ 이다. 여기서 $ \tau $ 는 반복 횟수이다.
• 공감 오차는 $ O(1/\sqrt{\tau}) $ 의 속도로 감소하여, 노드들이 시간이 지남에 따라 점차 일치하게 된다.
• 이론적 분석은 기대 최적성 간격 $ \mathbb{E}[f(y(T)) - f(x^*)] $ 를 네트워크 크기, 지연, 노이즈 분산과 관련된 항들로 바ounds한다.
• 합성 데이터와 지구물리학적 토모그래피 데이터 세트에 대한 수치 실험을 통해 알고리즘의 강건성과 실질적 수렴 행동을 확인한다.
• 매우 큰 지연과 확률적 노이즈가 존재하더라도 성능을 유지하여 실제 탈중앙화 네트워크에서의 실용성을 입증한다.