[논문 리뷰] Stochastic Proximal Gradient Consensus Over Random Networks

Mingyi Hong, Tsung‐Hui Chang|arXiv (Cornell University)|2015. 11. 28.

Distributed Control Multi-Agent Systems참고 문헌 50인용 수 14

한 줄 요약

이 논문은 시간에 따라 변하는 랜덤 네트워크에서 분산 볼록 최적화를 위한 동적 스토하스틱 프락시멀-그래디언트 컨SENSUS(DySPGC) 알고리즘을 제안한다. 여기서 에이전트들은 정확한 또는 스토하스틱 그래디언트를 사용한다. 정확한 그래디언트를 사용할 경우 $Ó(1/r)$ 수렴 속도를 달성하고, 스토하스틱 그래디언트를 사용할 경우 $Ó(1/\sqrt{r})$ 수렴 속도를 확보하며, EXTRA 및 ADMM과 같은 기존 주요 분산 알고리즘과의 연관성을 제시한다.

ABSTRACT

We consider solving a convex, possibly stochastic optimization problem over a randomly time-varying multi-agent network. Each agent has access to some local objective function, and it only has unbiased estimates of the gradients of the smooth component. We develop a dynamic stochastic proximal-gradient consensus (DySPGC) algorithm, with the following key features: i) it works for both the static and certain randomly time-varying networks, ii) it allows the agents to utilize either the exact or stochastic gradient information, iii) it is convergent with provable rate. In particular, we show that the proposed algorithm converges to a global optimal solution, with a rate of $\mathcal{O}(1/r)$ [resp. $\mathcal{O}(1/\sqrt{r})$] when the exact (resp. stochastic) gradient is available, where r is the iteration counter. Interestingly, the developed algorithm bridges a number of (seemingly unrelated) distributed optimization algorithms, such as the EXTRA (Shi et al. 2014), the PG-EXTRA (Shi et al. 2015), the IC/IDC-ADMM (Chang et al. 2014), and the DLM (Ling et al. 2015) and the classical distributed subgradient method. Identifying such relationship allows for significant generalization of these methods. We also discuss one such generalization which accelerates the DySPGC (hence accelerating EXTRA, PG-EXTRA, IC-ADMM).

연구 동기 및 목표

• 시간에 따라 변하는 무작위 통신 토폴로지가 있는 다중 에이전트 시스템에서의 분산 볼록 최적화 문제를 다루기.
• 전체 네트워크 지식이 필요로 하지 않고, 국소적이고 가능한 스토하스틱 그래디언트 추정치만을 사용하여 수렴을 가능하게 하기.
• 네트워크 동역학과 그래디언트 가용성에 대해 최소한의 가정 하에 증명 가능한 빠른 수렴 속도를 달성하기.
• EXTRA, PG-EXTRA, ADMM 변종과 같은 기존 분산 알고리즘들을 공통 프레임워크 하에 통합 및 일반화하기.
• 정적 및 특정 시간에 따라 변하는 네트워크(예: B-연결 그래프 포함)에 대해 수렴 보장을 제공하기.

제안 방법

• 시간에 따라 변하는 네트워크를 다룰 수 있도록 근사화된 수렴 기반 알고리즘을 개발하며, 프락시멀 그래디언트 단계와 오차 보정 항을 조합한다.
• 랜덤 통신 그래프에 대한 가중 평균 방식을 사용하며, 가중치는 네트워크 토폴로지와 에이전트 상태에 따라 적응적으로 조정된다.
• 정확한 그래디언트 조건과 스토하스틱 그래디언트 조건 양쪽에서 수렴을 보장하는 동적 스텝사이즈 규칙을 도입한다.
• 리아푸노프 분석과 새로운 포텐셜 함수를 활용하여 수렴을 증명하며, 스토하스틱 서브그래디언트 노이즈와 네트워크의 무작위성을 통합한다.
• 프락시멀 오퍼레이터의 성질과 그래디언트 분산을 이용해 기대값 기반의 하위최적성 갭을 유계로 제한함으로써 수렴 속도를 유도한다.
• 특정 매개변수 설정 하에서 DySPGC가 EXTRA 및 ADMM과 같은 알려진 알고리즘을 일반화함을 보여줌으로써, 이들 알고리즘과의 관계를 확립한다.

실험 결과

연구 질문

• RQ1 국소적 스토하스틱 그래디언트 접근만으로 시간에 따라 변하는 무작위 네트워크에서 수렴 속도가 보장되는 분산 최적화 알고리즘이 존재하는가?
• RQ2 유사한 설정 하에서 DSG, EXTRA, ADMM와 같은 기존 방법들과 비교해 제안된 알고리즘의 수렴 속도는 어떻게 되는가?
• RQ3 네트워크 토폴로지의 무작위성과 에이전트 간 통신 패턴은 분산 알고리즘의 수렴 행동에 어떤 영향을 미치는가?
• RQ4 EXTRA, PG-EXTRA, ADMM 변종과 같은 서로 다른 것처럼 보이는 분산 알고리즘들을 하나의 프레임워크로 통합할 수 있는가?
• RQ5 스텝사이즈, 네트워크 연결성, 그래디언트 추정 조건은 어떤 조건에서 비수렴적 수렴 속도를 보장하는가?

주요 결과

• 정확한 그래디언트를 사용할 경우 DySPGC 알고리즘은 $Ó(1/r)$ 수렴 속도로 전역 최적해에 수렴한다.
• 스토하스틱 그래디언트를 사용할 경우 알고리즘은 $Ó(1/\sqrt{r})$ 수렴 속도를 확보하며, 이는 스토하스틱 서브그래디언트 방법의 알려진 하한값과 일치한다.
• 정적 및 특정 시간에 따라 변하는 네트워크(예: B-연결 그래프 포함)에서 알고리즘이 증명 가능한 수렴성을 보인다.
• 수렴 분석을 통해 DySPGC와 EXTRA, PG-EXTRA, 그리고 비정확한 ADMM 변종과 같은 잘 알려진 분산 알고리즘 간 이론적 연관성을 확립한다.
• 스토하스틱 그래디언트 하에서 기대값 기반의 하위최적성 갭은 $\mathcal{O}(1/\sqrt{r})$ 속도로 감소하며, 그래디언트 노이즈 분산에 명시적인 의존성을 보인다.
• 에이전트가 편향이 없는 스토하스틱 그래디언트 추정치만을 액세스해도 알고리즘이 수렴을 유지하므로, 대규모 머신러닝 및 신호 처리 응용 분야에 적합하다.