[논문 리뷰] Average Consensus in Nearly Linear Time on Fixed Graphs and Implications for Decentralized Optimization and Multi-Agent Control.

Alex Olshevsky|arXiv (Cornell University)|2014. 11. 15.

Distributed Control Multi-Agent Systems인용 수 3

한 줄 요약

이 논문은 고정된 무방향 그래프에서 노드 수 $n$ 에 대해 선형 시간 내에 수렴하는 분산 평균 수렴 프로토콜을 제안한다. 이 프로토콜은 모든 노드가 $n$ 에 대한 상수 요소 상한 $U$ 를 안다는 조건만 충족하면 된다. 이 방법은 분산 최적화 및 다중 에이전트 제어 작업(예: 형성 유지, 리더-팔로워 조율)에 대해 선형 시간 수렴을 가능하게 하며, $T$ 반복 후 볼록 함수의 평균을 최소화할 때 오차 한계가 $O(L \sqrt{n/T})$ 임을 보장한다.

ABSTRACT

We describe a protocol for the average consensus problem on any fixed undirected graph whose convergence time scales linearly in the total number nodes $n$. The protocol is completely distributed, with the exception of requiring all nodes to know the same upper bound $U$ on the total number of nodes which is correct within a constant multiplicative factor. We next discuss applications of this protocol to problems in multi-agent control connected to the consensus problem. In particular, we describe protocols for formation maintenance and leader-following with convergence times which also scale linearly with the number of nodes. Finally, we develop a distributed protocol for minimizing an average of (possibly nondifferentiable) convex functions $ (1/n) \sum_{i=1}^n f_i( heta)$, in the setting where only node $i$ in an undirected, connected graph knows the function $f_i( heta)$. Under the same assumption about all nodes knowing $U$, and additionally assuming that the subgradients of each $f_i( heta)$ have absolute values upper bounded by some constant $L$ known to the nodes, we show that after $T$ iterations our protocol has error which is $O(L \sqrt{n/T})$.

연구 동기 및 목표

• 고정된 무방향 그래프에서 선형 수렴 시간을 갖는 분산 평균 수렴 프로토콜을 설계한다.
• 각 노드가 국소 볼록 함수를 보유하는 네트워크에서 효율적인 분산 최적화를 가능하게 한다.
• 형성 유지 및 리더-팔로워 조율과 같은 다중 에이전트 제어 작업에 대해 선형 시간 수렴을 지원한다.
• 최소한의 전역 지식으로 수렴을 보장한다—노드 간에 $n$ 에 대한 상수 요소 상한 $U$ 만 필요하다.

제안 방법

• 프로토콜은 고정된 무방향 그래프에서 국소 평균화 및 간선 가중치가 부여된 라플라시안 역학 기반의 분산 반복적 방법을 사용한다.
• 그래프 라플라시안의 스펙트럼 성질을 활용하여 $O(n)$ 시간 단위 내에 수렴을 보장한다.
• 각 노드는 이웃 노드 상태의 가중 평균을 사용하여 상태를 업데이트하며, 가중치는 $n$ 에 대한 고정된 알려진 상한 $U$ 에 기반한다.
• 프로토콜은 $U$ 를 공유하는 것을 제외하고는 완전히 분산되어 있다. 이는 수렴 매개변수 설정에 사용된다.
• 분산 최적화를 위해, 각 노드는 국소 함수 $f_i(\theta)$ 와 국소 서브기울기 정보에 기반하여 서브기울기 강하법을 분산 방식으로 적용한다.
• 최적화 프로토콜의 수렴 속도는 서브기울기 오차 한계와 함께 유도되며, 서브기울기가 $L$ 으로 균일하게 유계임을 가정한다.

실험 결과

연구 질문

• RQ1 고정된 무방향 그래프에서 완전히 분산된 프로토콜을 사용해 선형 시간 내에 평균 수렴을 달성할 수 있는가?
• RQ2 분산 수렴에서 선형 시간 수렴을 달성하기 위해 필요한 최소한의 전역 정보는 무엇인가?
• RQ3 선형 시간 수렴은 어떻게 활용하여 형성 유지와 같은 분산 다중 에이전트 제어 문제를 해결할 수 있는가?
• RQ4 국소 지식과 유계 서브기울기 조건 하에서 볼록 함수 평균의 분산 최소화에 대해 어떤 수렴 속도를 보장할 수 있는가?
• RQ5 국소 함수 지식과 공유된 상한 $U$ 만으로도 분산 최적화의 오차를 $O(L \sqrt{n/T})$ 로 유계로 유지할 수 있는가?

주요 결과

• 제안된 평균 수렴 프로토콜은 연결성 이외의 그래프 구조에 의존하지 않고, 어떤 고정된 무방향 그래프에서나 $O(n)$ 시간 단위 내에 수렴한다.
• 프로토콜은 노드들이 모두 $n$ 에 대한 상수 요소 상한 $U$ 를 안다는 조건만 충족하면 되며, 이는 최소한의 전역 지식으로 완전한 분산성을 실현한다.
• 다중 에이전트 제어 작업에서는 형성 유지 및 리더-팔로잉 작업에서 선형 시간 수렴을 달성하며, 확장성도 유지한다.
• 분산 최적화에서는 $T$ 반복 후 오차가 $O(L \sqrt{n/T})$ 로 유계로 유지되며, $L$ 은 국소 함수의 서브기울기의 균일한 상한이다.
• 이 방법은 모든 노드가 초기 값의 평균에 점점 수렴하며, 수렴 속도는 그래프의 스펙트럼 갭과 무관하게 $n$ 에 대해 선형으로 스케일링된다.