[논문 리뷰] Distributed Mirror Descent over Directed Graphs

Chenguang Xi, Qiong Wu외 1명|arXiv (Cornell University)|2014. 12. 16.

Distributed Control Multi-Agent Systems참고 문헌 36인용 수 14

한 줄 요약

이 논문은 이방향 다중 에이전트 네트워크에서 제약 조건이 있는 볼록 최적화를 위한 새로운 알고리즘인 분산 미러 경사감소(Distributed Mirror Descent, DMD)를 제안한다. 각 에이전트는 전역적인 유클리드 거리가 아닌 국소적으로 설계된 브레그만 거리 함수를 사용한다. 이 방법은 행에 대해 스트로카스틱인 가중치 행렬을 사용할 경우 수렴성을 보장하며, 이는 이전의 연구를 방향성 있는 그래프로 일반화하고, 이중 스트로카스틱 행렬을 구성할 수 없는 경우에도 수렴 가능하게 한다.

ABSTRACT

In this paper, we propose Distributed Mirror Descent (DMD) algorithm for constrained convex optimization problems on a (strongly-)connected multi-agent network. We assume that each agent has a private objective function and a constraint set. The proposed DMD algorithm employs a locally designed Bregman distance function at each agent, and thus can be viewed as a generalization of the well-known Distributed Projected Subgradient (DPS) methods, which use identical Euclidean distances at the agents. At each iteration of the DMD, each agent optimizes its own objective adjusted with the Bregman distance function while exchanging state information with its neighbors. To further generalize DMD, we consider the case where the agent communication follows a \emph{directed} graph and it may not be possible to design doubly-stochastic weight matrices. In other words, we restrict the corresponding weight matrices to be row-stochastic instead of doubly-stochastic. We study the convergence of DMD in two cases: (i) when the constraint sets at the agents are the same; and, (ii) when the constraint sets at the agents are different. By partially following the spirit of our proof, it can be shown that a class of consensus-based distributed optimization algorithms, restricted to doubly-stochastic matrices, remain convergent with stochastic matrices.

연구 동기 및 목표

• 에이전트가 이방향 그래프를 통해 통신하는 다중 에이전트 시스템에서 제약 조건이 있는 볼록 최적화 문제를 다루는 것.
• 에이전트별로 고유한 브레그만 거리 함수를 허용함으로써 기존의 분산 프로젝션 서브그래디언트 방법을 일반화하는 것.
• 이중 스트로카스틱 행렬을 구성할 수 없는 이방향 네트워크에서 수렴성을 보장하는 것.
• 에이전트들이 동일한 제약 집합을 가지는지, 다른 제약 집합을 가지는지에 따라 수렴성을 분석하는 것.
• 스토크래틱 행렬을 사용하는 공감 기반 알고리즘이 제안된 프레임워크 하에서도 여전히 수렴하는지 보여주는 것.

제안 방법

• 각 에이전트는 국소적인 목적 함수와 제약 집합을 유지하며, 국소적으로 정의된 브레그만 발산을 통해 업데이트를 이끌어낸다.
• 에이전트별로 고유한 브레그만 함수를 사용하는 미러 경사감소 단계를 반복적으로 수행한다.
• 에이전트들은 이행 스트로카스틱 가중치 행렬을 사용하여 이웃과 상태 정보를 교환함으로써 이중 스트로카스틱 행렬이 필요 없도록 한다.
• 표준 분산 프로젝션 서브그래디언트(DPS) 방법을 유클리드 거리에서 임의의 브레그만 발산으로 대체함으로써 일반화한다.
• 에이전트들이 동일한 제약 집합을 가지는지, 다른 제약 집합을 가지는지에 따라 두 가지 설정에서 수렴성을 분석한다.
• 증명 기법을 확장하여, 스트로카스틱 행렬을 사용하는 공감 기반 알고리즘이 여전히 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 이중 스트로카스틱 가중치가 존재하지 않는 이방향 그래프로도 미러 경사감소를 확장할 수 있는가?
• RQ2 에이전트별로 고유한 브레그만 거리 함수를 사용할 경우 분산 최적화에서 수렴성에 어떤 영향을 미치는가?
• RQ3 에이전트들이 다른 제약 집합을 가질 경우 수렴성을 보장하기 위한 조건은 무엇인가?
• RQ4 이행 스트로카스틱 행렬을 사용할 경우, 공감 기반 알고리즘의 수렴성이 유지되는가?
• RQ5 브레그만 발산은 이방향 네트워크에서 분산 최적화를 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 모든 에이전트가 동일한 제약 집합을 공유할 경우, 이방향 통신 그래프에서도 DMD 알고리즘이 최적 해로 수렴한다.
• 에이전트들이 서로 다른 제약 집합을 가질 경우에도 네트워크 및 목적 함수에 대한 적절한 가정 하에 수렴성이 입증된다.
• 국소적으로 설계된 브레그만 거리 함수의 사용은 동일한 유클리드 거리에 의존하는 표준 DPS 방법을 일반화한다.
• 이행 스트로카스틱 가중치 행렬을 사용할 경우에도 방법이 여전히 수렴성을 유지하며, 이는 이전 연구에서 요구하던 이중 스트로카스틱 행렬이 필요 없었던 핵심적 진전이다.
• 이론적 프레임워크는 스트로카스틱 가중치를 사용하는 더 광범위한 공감 기반 분산 알고리즘의 수렴성을 지원한다.
• 증명 구조는 기존 알고리즘의 수렴성을 스트로카스틱 행렬에 국한된 경우에도 보장할 수 있도록 적응 가능하며, 이는 그 적용 범위를 확장한다.