[논문 리뷰] Distributed Subgradient Projection Algorithm over Directed Graphs

Chenguang Xi, Usman A. Khan|arXiv (Cornell University)|2016. 02. 01.

Distributed Control Multi-Agent Systems참고 문헌 27인용 수 4

한 줄 요약

이 논문은 방향성 다중 에이전트 네트워크에서 제약 조건이 있는 볼록 최적화를 위해 방향성 분산 투영 서브그래디언트(D-DPS) 알고리즘을 제안한다. 여기서 에이전트들은 공통의 볼록 집합에 대한 제약 조건 하에 국소 볼록 함수의 합을 공동으로 최소화한다. 비대칭 통신을 처리하기 위해 초과 공감(surplus consensus)을 통합함으로써 D-DPS는 $O(\frac{\ln k}{\sqrt{k}})$의 수렴 속도를 달성하며, 이는 방향성 통신 제약 조건에도 불구하고 비방향성 네트워크의 최고 수준의 속도와 동일하다.

ABSTRACT

We propose a distributed algorithm, termed the Directed-Distributed Projected Subgradient (D-DPS), to solve a constrained optimization problem over a multi-agent network, where the goal of agents is to collectively minimize the sum of locally known convex functions. Each agent in the network owns only its local objective function, constrained to a commonly known convex set. We focus on the circumstance when communications between agents are described by a directed network. The D-DPS augments an additional variable for each agent, to overcome the asymmetry caused by the directed communication network. The convergence analysis shows that D-DPS converges at a rate of $O(\frac{\ln k}{\sqrt{k}})$, where k is the number of iterations.

연구 동기 및 목표

• 정보 흐름이 비대칭인 방향성 통신 토폴로지가 있는 다중 에이전트 네트워크에서 분산 제약 최적화의 과제를 해결한다.
• 비방향성 또는 균형 잡힌 통신 그래프를 가정하는 기존 알고리즘의 한계를 극복한다.
• 국소 제약 조건이 있는 방향성 강한 연결 네트워크 토폴로지에서 수렴성과 효율성을 유지하는 분산 알고리즘을 개발한다.
• 계산의 단순성과 탈중앙화 환경에서의 확장성을 유지하면서 최적의 해로 수렴함을 보장한다.
• 비방향성 네트워크 알고리즘과 비교하여 유사한 수렴 속도를 달성함으로써, 방향성 통신의 추가 복잡성에도 불구하고 성능을 유지한다.

제안 방법

• 방향성 그래프와 국소 제약 조건에 특화된 분산 투영 서브그래디언트 방법인 D-DPS 알고리즘을 제안한다.
• 초과 공감을 도입하여 행 스토하스틱 행렬과 열 스토하스틱 행렬을 구성함으로써 비대칭 링크 간의 정보 교환을 가능하게 한다.
• 수렴을 보장하면서 추정 오차와 분산을 균형 잡기 위해 감소하는 스텝 사이즈 $\alpha_k = \frac{1}{\sqrt{k}}$를 사용한다.
• 상태 추정치 $\mathbf{x}_i^k$와 보조 변수 $\mathbf{y}_i^k$를 유지하여 공감 상태를 추적하고 제약 조건을 강제한다.
• 각 반복 단계에서 $\mathcal{P}_{\mathcal{X}}[\cdot]$의 투영을 적용하여 반복값이 공통의 볼록 제약 집합 $\mathcal{X}$ 내에 유지되도록 보장한다.
• 투영의 비확장성과 행렬의 스토하스틱성에 기반하여 강한 연결성과 방향성 그래프 가정 하에 수렴성을 증명한다.

실험 결과

연구 질문

• RQ1 비대칭 통신이 이루어지는 방향성 네트워크에서 분산 투영 서브그래디언트 방법이 수렴할 수 있는가?
• RQ2 방향성 네트워크 환경에서 제약 조건이 포함될 경우, 비제약 조건 또는 비방향성 경우에 비해 수렴 속도가 떨어지는가?
• RQ3 초과 공감이 방향성 통신의 비대칭성을 효과적으로 균형 잡는 데 성공할 수 있는가?
• RQ4 수렴을 보장하면서도 방향성 제약 네트워크에서 빠른 수렴 속도를 유지할 수 있는 최적의 스텝 사이즈 정책은 무엇인가?
• RQ5 D-DPS의 수렴 속도는 제약 조건이 있는 설정에서 기존 알고리즘인 Subgradient-Push와 Weight-Balancing Subgradient Descent와 비교해 어떻게 되는가?

주요 결과

• D-DPS 알고리즘은 강한 연결된 방향성 그래프에서 제약 최적화 문제의 최적 해로 수렴한다.
• D-DPS의 수렴 속도는 $O(\frac{\ln k}{\sqrt{k}})$이며, 이는 비방향성 그래프에서 분산 투영 서브그래디언트 방법의 최고 수준의 속도와 일치한다.
• 초과 공감의 사용은 행 스토하스틱 행렬과 열 스토하스틱 행렬의 구성 가능성을 보장하며, 방향성 통신의 비대칭성을 효과적으로 완화한다.
• 수치적 결과는 D-DPS가 잔차가 시간이 지남에 따라 감소하는 방향으로 수렴하며, 에이전트 상태 간의 이질성도 0으로 수렴함을 확인한다.
• Subgradient-Push와 Weight-Balancing Subgradient Descent(비제약 문제용)와 비교할 때 D-DPS는 유사한 수렴 속도를 보이지만, 제약 조건이 있는 문제에 특화되어 있다.
• 최적의 스텝 사이즈 정책 $\alpha_k = \frac{1}{\sqrt{k}}$는 가장 빠른 수렴 속도를 제공하며, 더 큰 지수 값은 지속성 조건 위반으로 인해 수렴하지 못함을 보여준다.