[논문 리뷰] Improved Convergence Rates for Distributed Resource Allocation

Angelia Nedić, Alex Olshevsky외 1명|arXiv (Cornell University)|2017. 06. 16.

Distributed Control Multi-Agent Systems참고 문헌 24인용 수 28

한 줄 요약

이 논문은 일관성 최적화와의 연결을 활용하여 네트워크 내 에이전트 집합에서 볼록 자원 배분을 위한 새로운 분산 알고리즘 클래스를 제안한다. 보편적인 볼록 함수의 경우 o(1/k) 수렴 속도를 달성하고, 강하게 볼록하고 미분 가능한 目표 함수의 경우 R-선형 수렴을 달성한다. 이는 맞춤형 단계 크기와 네트워크 인지형 파rameter 조정을 포함한 원본-이중 프레임워크를 통해 이루어진다.

ABSTRACT

In this paper, we develop a class of decentralized algorithms for solving a convex resource allocation problem in a network of $n$ agents, where the agent objectives are decoupled while the resource constraints are coupled. The agents communicate over a connected undirected graph, and they want to collaboratively determine a solution to the overall network problem, while each agent only communicates with its neighbors. We first study the connection between the decentralized resource allocation problem and the decentralized consensus optimization problem. Then, using a class of algorithms for solving consensus optimization problems, we propose a novel class of decentralized schemes for solving resource allocation problems in a distributed manner. Specifically, we first propose an algorithm for solving the resource allocation problem with an $o(1/k)$ convergence rate guarantee when the agents' objective functions are generally convex (could be nondifferentiable) and per agent local convex constraints are allowed; We then propose a gradient-based algorithm for solving the resource allocation problem when per agent local constraints are absent and show that such scheme can achieve geometric rate when the objective functions are strongly convex and have Lipschitz continuous gradients. We have also provided scalability/network dependency analysis. Based on these two algorithms, we have further proposed a gradient projection-based algorithm which can handle smooth objective and simple constraints more efficiently. Numerical experiments demonstrates the viability and performance of all the proposed algorithms.

연구 동기 및 목표

• 에이전트들이 비공개 목표 함수와 결합된 제약 조건을 가진 네트워크에서 탈중앙화된 자원 배분 문제를 해결한다.
• 중앙 집중식 조정자 없이도 수렴 보장을 보장하는 분산 알고리즘을 개발한다.
• 특히 비미분 가능 및 강하게 볼록 문제에 대해 기존 방법을 초월하는 수렴 속도를 향상시킨다.
• 제안된 알고리즘의 확장성과 네트워크 의존성 분석을 수행한다.
• 기울기 투영 방법을 활용해 미분 가능 목표 함수와 단순 제약 조건을 효과적으로 처리하는 효율적인 변형을 설계한다.

제안 방법

• 기존의 수렴 보장을 활용하기 위해 자원 배분 문제를 일관성 최적화 문제로 재구성한다.
• 네트워크 구조에 맞춰 단계 크기를 조정한 일관성 기반 업데이트 규칙을 사용하는 원본-이중 알고리즘인 Mirror-P-EXTRA를 제안한다.
• 반복 계산 비용을 줄이기 위해 기울기 투영을 활용한 계산적으로 경량화된 변형인 Mirror-PG-EXTRA를 도입한다.
• 리아푸노프 분석을 통해 네트워크 의존적 상수(특히 라플라시안의 두 번째로 작은 고유값 포함)를 포함한 수렴 속도를 확립한다.
• 지역 에이전트 데이터와 전역 네트워크 구조를 고려한 파rameter 조정 전략을 도입하여 수렴 속도를 향상시킨다.
• 시간에 따라 변화하는 방향성 있는 그래프에서 Mirror-Push-DIGing을 사용하여 알고리즘을 검증함으로써, 동적 통신 구조에서도 수렴 보장이 유지됨을 입증한다.

실험 결과

연구 질문

• RQ1 탈중앙화 알고리즘이 일반 볼록 함수(비가능한 경우 포함)의 자원 배분 문제에서 o(1/k) 수렴을 달성할 수 있는가?
• RQ2 목표 함수가 강하게 볼록하고 기울기가 리프시츠 연속일 경우, 분산 자원 배분에서 기하학적(R-선형) 수렴을 달성할 수 있는가?
• RQ3 특히 라플라시안의 두 번째로 작은 고유값이 분산 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 분산 최적화에서 통신 비용과 지역 계산 간의 상호 교환 관계는 무엇이며, 이를 어떻게 최적화할 수 있는가?
• RQ5 제안된 알고리즘은 수렴 보장을 유지하면서 시간에 따라 변화하는 방향성 있는 통신 그래프로 확장될 수 있는가?

주요 결과

• 제안된 Mirror-P-EXTRA 알고리즘은 국소 제약 조건이 있는 일반 볼록 함수(비가능한 경우 포함)에 대해 o(1/k) 수렴 속도를 달성한다.
• 리프시츠 연속 기울기를 가진 강하게 볼록 목표 함수이면서 국소 제약 조건이 없는 경우, 알고리즘은 R-선형(기하학적) 수렴을 달성한다.
• Mirror-PG-EXTRA 변형은 반복 계산 비용을 줄여 대규모 네트워크에 적합한 경쟁력 있는 성능을 보인다.
• 수치 실험 결과, Mirror-P-EXTRA는 높은 반복 계산 비용에도 불구하고 반복 횟수 측면에서 다른 알고리즘을 능가함을 보였다.
• Mirror-Push-DIGing을 통해 시간에 따라 변화하는 방향성 있는 그래프에서도 알고리즘이 효과적으로 작동함을 입증하였으며, 수동으로 조정된 단계 크기를 사용함에도 불구하고 수렴 보장을 유지한다.
• 확장성 분석 결과, 수렴 속도는 네트워크 연결성에 따라 달라지며, 최악의 경우 λ₂⁻¹이 O(n⁴)로 스케일링되지만, 통신 확률을 최적화하면 더 나은 성능을 기대할 수 있다.