[논문 리뷰] Accelerated Gossip in Networks of Given Dimension using Jacobi Polynomial Iterations

Raphaël Berthier, Francis Bach외 1명|arXiv (Cornell University)|2018. 05. 22.

Distributed Control Multi-Agent Systems참고 문헌 19인용 수 4

한 줄 요약

이 논문은 네트워크에서 분산 평균 계산을 위한 새로운 게시 알고리즘을 제안한다. 이 알고리즘은 네트워크의 스펙트럼 차원 $d$를 매개변수로 사용하며, 스펙트럼 갭보다는 스펙트럼 측도의 다항식 기반 근사화를 활용하여 수렴 속도를 가속화한다. 이는 비점점적 영역에서 특히 빠른 수렴을 보이며, 격자와 퍼콜레이션 네트워크에서 기존 방법보다 향상된 성능을 보이며, $d$에 따라 스케일링되는 이론적 수렴 속도 보장이 있다.

ABSTRACT

Consider a network of agents connected by communication links, where each agent holds a real value. The gossip problem consists in estimating the average of the values diffused in the network in a distributed manner. We develop a method solving the gossip problem that depends only on the spectral dimension of the network, that is, in the communication network set-up, the dimension of the space in which the agents live. This contrasts with previous work that required the spectral gap of the network as a parameter, or suffered from slow mixing. Our method shows an important improvement over existing algorithms in the non-asymptotic regime, i.e., when the values are far from being fully mixed in the network. Our approach stems from a polynomial-based point of view on gossip algorithms, as well as an approximation of the spectral measure of the graphs with a Jacobi measure. We show the power of the approach with simulations on various graphs, and with performance guarantees on graphs of known spectral dimension, such as grids and random percolation bonds. An extension of this work to distributed Laplacian solvers is discussed. As a side result, we also use the polynomial-based point of view to show the convergence of the message passing algorithm for gossip of Moallemi \& Van Roy on regular graphs. The explicit computation of the rate of the convergence shows that message passing has a slow rate of convergence on graphs with small spectral gap.

연구 동기 및 목표

• 스펙트럼 갭 $\gamma$에 의존하는 기존 게시 알고리즘의 한계를 해결하기 위해, 이는 대규모 네트워크에서 작고 추정하기 어려운 경우가 많기 때문이다.
• 실무자들이 더 직관적이고 접근하기 쉬운 매개변수인 스펙트럼 차원 $d$에만 의존하는 분산 평균 계산 알고리즘을 개발하기 위해.
• 기존 방법들이 느리게 혼합하는 비점점적 영역($t < 1/\sqrt{\gamma}$)에서 수렴 속도를 향상시키기 위해.
• 스펙트럼 차원이 알려진 그래프, 예를 들어 격자와 무작위 퍼콜레이션 네트워크에서 제안된 방법의 이론적 수렴 보장을 제공하기 위해.
• 다양한 분산 라플라시안 해법과 메시지 전파 알고리즘의 수렴을 다항식 프레임워크를 사용해 분석하고 향상시키기 위해.

제안 방법

• 이 방법은 자코비 다항식에 기반한 시간에 따라 변화하는 가중치 $a_t$, $b_t$, $c_t$를 사용하는 2차 반복을 사용하며, 네트워크의 스펙트럼 차원 $d$에 맞게 조정된다.
• 게시 행렬 $W$의 스펙트럼 측도를 자코비 측도로 근사화함으로써, 스펙트럼 가장자리 근처의 고유값을 다항식 기반 필터링할 수 있다.
• 수렴 프로파일을 조절하기 위해 첫 번째 및 두 번째 종류의 체비셰프 다항식에서 유도된 수직 다항식 $\tilde{p}_t(\lambda)$를 사용하는 반복이 정의된다.
• 수렴을 최적화하기 위해 $t$와 $d$를 포함한 닫힌 형태의 수식을 사용해 $a_t$, $b_t$, $c_t$의 가중치를 명시적으로 유도한다.
• 수렴은 스펙트럼 사영 $\pi_t(\lambda)$를 통해 분석되며, 이는 오차의 $\ell^2$-노름을 $\|x^t - \bar{\xi}\mathbf{1}\|_2 \leq \|\xi - \bar{\xi}\mathbf{1}\|_2 \cdot \sup_\lambda |\pi_t(\lambda)|$로 제한한다.
• 스펙트럼 갭 $\gamma$에 의존하지 않고, 1에 가까운 고유값의 밀도를 특징짓는 스펙트럼 차원 $d$에 초점을 맞춤으로써, 이는 고유값 밀도의 특성에 기반한다.

실험 결과

연구 질문

• RQ1 스펙트럼 갭 $\gamma$의 지식이 없이도 게시 알고리즘을 가속화할 수 있는가? 특히 대규모 네트워크에서는 이 값이 추정하기 어려운 경우가 많다.
• RQ2 기본 그래프의 스펙트럼 차원 $d$에 따라 비점점적 영역에서 게시 알고리즘의 성능은 어떻게 달라지는가?
• RQ3 특히 자코비 다항식에서 유도된 다항식 기반 반복은 기존 메시지 전파나 체비셰프 기반 방법보다 더 빠른 수렴을 제공할 수 있는가?
• RQ4 스펙트럼 차원이 알려진 그래프, 예를 들어 $d$차원 격자에서 제안된 알고리즘의 이론적 수렴 속도는 무엇인가?
• RQ5 다항식 프레임워크는 정규 그래프에서 메시지 전파와 같은 기존 알고리즘의 수렴을 분석하고 향상시키는 데 사용될 수 있는가?

주요 결과

• 제안된 알고리즘은 비점점적 영역에서 수렴 속도를 가속화하며, 특히 $t < 1/\sqrt{\gamma}$일 때 기존 방법이 느려지는 경우에 효과적이다.
• 스펙트럼 차원 $d$를 가진 그래프의 경우, 수렴 속도는 $\left(\frac{(1-\tilde{\gamma})D + \sqrt{((1-\tilde{\gamma})D)^2 - 1}}{D + \sqrt{D^2 - 1}}\right)^t$로 유계되며, 이는 $\gamma$가 아닌 $d$에 의존함을 보여준다. 여기서 $D = d/(2\sqrt{d-1})$이다.
• $d$차원 격자와 무작위 퍼콜레이션 네트워크에서 시뮬레이션 결과, 간단한 게시나 메시지 전파보다 성능이 뛰어나며, 중간 정도의 $t$에서 특히 두드러진다.
• 이 방법은 스펙트럼 갭이 작은 그래프에서 메시지 전파의 느린 수렴을 이론적으로 설명하며, 이러한 경우 수렴 속도가 $O(t^{-1})$임을 보여준다.
• 알고리즘의 수렴은 $\gamma$에 대한 불확실성에도 강건하며, $\gamma$ 대신 더 접근하기 쉬운 매개변수인 스펙트럼 차원 $d$에만 의존하기 때문이다.
• 분산 라플라시안 해법으로의 확장이 논의되었으며, 이는 다항식 프레임워크가 분산 선형 대수학에 광범위하게 적용될 수 있음을 시사한다.