[논문 리뷰] Linear convergence in optimization over directed graphs with row-stochastic matrices

Chenguang Xi, Van Sy외 3명|arXiv (Cornell University)|2016. 11. 18.

Distributed Control Multi-Agent Systems참고 문헌 37인용 수 3

한 줄 요약

이 논문은 방향성 그래프에 대해 완전히 분산된 최적화 알고리즘을 제안하며, 에이전트가 이웃의 출도수를 알고 있을 필요가 없어도 선형 수렴 속도 $O(\mu^k)$를 달성한다. 기존 방법의 핵심 제한 사항을 해결하기 위해 행-스토하스틱 행렬과 새로운 기울기 추적 메커니즘을 활용함으로써, 강凸성과 미분 가능성 조건을 만족하는 문제에서 빠르고 확장 가능한 수렴을 보장하며, 통신 오버헤드를 최소화한다.

ABSTRACT

This paper considers a distributed optimization problem over a multi-agent network, in which the objective function is a sum of individual cost functions at the agents. We focus on the case when communication between the agents is described by a \emph{directed} graph. Existing distributed optimization algorithms for directed graphs require at least the knowledge of the neighbors' out-degree at each agent (due to the requirement of column-stochastic matrices). In contrast, our algorithm requires no such knowledge. Moreover, the proposed algorithm achieves the best known rate of convergence for this class of problems, $O(μ^k)$ for $0

연구 동기 및 목표

• 기존 방법이 에이전트가 이웃의 출도수를 알고 있어야 하는 조건을 요구하는 방향성 그래프에서의 분산 최적화 문제에 도전한다.
• 브로드캐스트 기반 또는 비대칭 통신 네트워크에서 열-스토하스틱 행렬 구축이 비현실적인 점을 해결한다.
• 이중 변수나 감소하는 스텝 사이즈에 의존하지 않고도 빠른 수렴을 유지하는 완전히 분산된 알고리즘을 개발한다.
• 강凸성과 미분 가능성을 만족하는 목적 함수에 대해 방향성 네트워크에서 가장 빠른 알려진 선형 수렴 속도인 $O(\mu^k)$를 달성한다.
• 로컬 단위의 고유한 에이전트 식별자와 행-스토하스틱 가중치 정보만을 요구함으로써 실용적인 구현 가능성을 확보한다.

제안 방법

• 방향성 그래프에서 국소적 강凸성과 리프시츠 연속 기울기 함수의 합을 최소화하는 분산 최적화 문제를 수립한다.
• 로컬 정보와 행-스토하스틱 가중치 행렬을 사용하여 전역 기울기를 추정하는 기울기 추적 메커니즘을 적용한다.
• 행-스토하스틱 행렬을 활용해 국소 기울기 하강과 기울기 추정치에 대한 공감대 형성의 조합을 고려한 새로운 업데이트 규칙을 설계한다.
• 감소하는 스텝 사이즈의 느린 하향 수렴 속도를 피하기 위해 일정한 스텝 사이즈 전략을 도입하여 선형 수렴을 보장한다.
• 고유한 에이전트 식별자를 활용하여 출도수 정보가 없어도 알고리즘이 수렴하도록 한다.
• 프라이멀 반복과 기울기 추정치의 오차를 제한하는 리아푸노프 유사 분석을 통해 수렴성을 증명한다.

실험 결과

연구 질문

• RQ1 에이전트가 이웃의 출도수를 알고 있지 않아도 방향성 그래프에서 선형 수렴을 달성할 수 있는 분산 최적화 알고리즘이 존재하는가?
• RQ2 열-스토하스틱 행렬만을 사용하여 $O(\mu^k)$ 수렴을 달성할 수 있는가? (이중 스토하스틱 또는 열-스토하스틱이 아닌 경우)
• RQ3 DEXTRA, ADD-OPT, Subgradient-Push와 같은 기존 방법들과 비교해 본다면, 제안된 알고리즘의 수렴 속도와 통신 효율성은 어떻게 되는가?
• RQ4 어떤 이론적 조건에서 행-스토하스틱 행렬이 방향성 그래프에서의 분산 최적화에서 수렴을 보장할 수 있는가?
• RQ5 최소한의 전역 조율나 네트워크 토폴로지 정보 없이도 알고리즘을 완전히 분산된 방식으로 구현할 수 있는가?

주요 결과

• 제안된 알고리즘은 리프시츠 연속 기울기 함수를 가진 강凸성 함수에 대해 선형 수렴 속도 $O(\mu^k)$를 달성하며, 문헌상으로는 가장 빠른 수렴 속도를 보인다.
• 에이전트의 출도수 정보가 필요 없으며, DEXTRA, ADD-OPT, Push-DIGing 등의 방법과 비교해 실용적인 우수성을 확보한다.
• 분산 로지스틱 회귀 문제에 대한 수치 실험 결과, Subgradient-Push 및 Directed-Distributed Subgradient Descent와 같은 하향 수렴 방법보다 빠른 수렴 속도를 보였다.
• 기울기 기반 방법이 감소하는 스텝 사이즈가 필요로 하는 것과 달리, 일정한 스텝 사이즈를 사용함에도 불구하고 빠른 수렴을 유지한다.
• 강하게 연결된 방향성 그래프(10개의 에이전트, 3차원 매개변수)에서의 실험을 통해 네트워크 토폴로지에 대해 수렴성이 뛰어나게 유지됨을 입증하였다.
• 이론적 분석을 통해 프라이멀 반복과 기울기 추정치의 오차가 지수적으로 감소하며, $\|\mathbf{x}_k - \mathbf{x}^*\|_2 \leq \gamma_1^k \|\nabla \mathbf{f}_k\|_2$ (어느 $\gamma_1 < 1$에 대해)로 제한됨을 확인하였다.