[논문 리뷰] On the Sublinear Regret of Distributed Primal-Dual Algorithms for Online Constrained Optimization

Soomin Lee, Michael M. Zavlanos|arXiv (Cornell University)|2017. 05. 31.

Distributed Control Multi-Agent Systems참고 문헌 5인용 수 34

한 줄 요약

이 논문은 시간에 따라 변화하는 네트워크에서 온라인 제약 최적화를 위한 분산 원천-이중 알고리즘을 제안한다. 여기서 에이전트들은 일관성 기반 이중 변수 추정을 통해 전역적으로 연결된 제약 조건을 만족시키면서 전역 목적 함수를 공동으로 최소화한다. 이 알고리즘은 공동 연결된, 가중치가 균형 잡힌 방향 그래프에서 비용 함수 값과 제약 위반에 대해 $O(\sqrt{T})$ 순서의 하위선형 재해를 달성한다.

ABSTRACT

This paper introduces consensus-based primal-dual methods for distributed online optimization where the time-varying system objective function $f_t(\mathbf{x})$ is given as the sum of local agents' objective functions, i.e., $f_t(\mathbf{x}) = \sum_i f_{i,t}(\mathbf{x}_i)$, and the system constraint function $\mathbf{g}(\mathbf{x})$ is given as the sum of local agents' constraint functions, i.e., $\mathbf{g}(\mathbf{x}) = \sum_i \mathbf{g}_i (\mathbf{x}_i) \preceq \mathbf{0}$. At each stage, each agent commits to an adaptive decision pertaining only to the past and locally available information, and incurs a new cost function reflecting the change in the environment. Our algorithm uses weighted averaging of the iterates for each agent to keep local estimates of the global constraints and dual variables. We show that the algorithm achieves a regret of order $O(\sqrt{T})$ with the time horizon $T$, in scenarios when the underlying communication topology is time-varying and jointly-connected. The regret is measured in regard to the cost function value as well as the constraint violation. Numerical results for online routing in wireless multi-hop networks with uncertain channel rates are provided to illustrate the performance of the proposed algorithm.

연구 동기 및 목표

• 지역 제약 집합으로 분해될 수 없는 전역적으로 연결된 제약 조건을 가진 온라인 분산 최적화 문제를 다루는 것.
• 시간에 따라 변화하는 통신 토폴로지와 환경 변화에 비추어 하위선형 재해를 유지하는 탈중앙화 알고리즘을 개발하는 것.
• 원천-이중 방법을 일관성 기반 이중 변수 평균화를 통해 전역 제약 조건을 다루는 분산 환경으로 확장하는 것.
• 시간 범위 $T$, 네트워크 연결성, 문제 구조를 기반으로 재해 경계를 분석하는 것.
• 동적 채널 속도를 가진 현실적인 무선 멀티호프 네트워크 시나리오에서 알고리즘을 검증하는 것.

제안 방법

• 각 에이전트가 이웃의 반복값을 가중 평균하여 전역 이중 변수의 국소 추정치를 유지하는 일관성 기반 원천-이중 방법을 사용한다.
• 전역 제약 조건을 가진 분산 온라인 최적화에 적합하게 조정된 Arrow-Hurwicz-Uzawa 방법의 사다리꼴 수식을 활용한다.
• 제약 위반을 다루기 위해 최대 함수 $[x]_+^\mu$의 부드러운 대체 함수를 통합하며, 이는 매개수 $\mu$에 대해 리프시츠 연속성을 만족한다.
• 비영인 라우팅 속도를 기반으로 통신 행렬 $W_t$를 정의하여 시간에 따라 가중치가 균형 잡히고 공동 연결된 그래프를 보장한다.
• 시간에 따라 변화하는 가중치를 사용하는 이중 평균 프레임워크를 적용하여 에이전트 간 이중 변수에 대한 일관성을 유지한다.
• 지역 기울기와 일관성 단계에 의존하는 투영 없음 업데이트 규칙을 사용하여 재해를 최소화한다.

실험 결과

연구 질문

• RQ1 분산 원천-이중 알고리즘이 전역적으로 연결된 제약 조건이 있는 온라인 최적화에서 하위선형 재해를 달성할 수 있는가?
• RQ2 시간에 따라 변화하는, 공동 연결된 통신 토폴로지에서 알고리즘은 어떻게 성능을 발휘하는가?
• RQ3 재해가 네트워크 크기, 연결성 강도 $Q$, 문제 매개수에 어떻게 의존하는가?
• RQ4 알고리즘은 무선 네트워크에서 시간에 따라 변화하는 채널 속도와 같은 실제 세계의 불확실성을 다룰 수 있는가?
• RQ5 부드러움 매개수 $\mu$의 선택이 수렴성과 재해에 어떤 영향을 미치는가?

주요 결과

• 공동 연결된, 시간에 따라 변화하는 방향 그래프에서 비용 함수 값과 제약 위반에 대해 최악의 경우 $O(\sqrt{T})$ 순서의 재해를 달성한다.
• 시간 단위 재해 $\mathcal{R}(T)/T$ 와 $\mathcal{R}^c(T)/T$ 는 $T$ 가 증가함에 따라 0으로 수렴하여 하위선형 성장을 확인한다.
• 더 큰 네트워크 크기($N=20$)는 수렴 속도를 느리게 하며, 에이전트 수 증가에 따라 재해 성장이 증가함을 시사한다.
• 높은 연결성 강도 $Q$ 는 비용 함수 재해에서 수렴 속도를 느리게 하지만, 제약 위반은 안정된 편이다.
• 매개수 $\mu=0.001$ 인 부드러운 최대 함수 대체 $[x]_+^\mu$ 는 리프시츠 연속성을 보장하고 시뮬레이션에서 수치적 안정성을 제공한다.
• 무선 멀티호프 네트워크에서의 수치 결과는 불확실하고 동적인 채널 조건 하에서도 알고리즘의 효과성을 확인한다.