[논문 리뷰] Explicit Convergence Rate of a Distributed Alternating Direction Method of Multipliers

Franck Iutzeler, Pascal Bianchi외 2명|arXiv (Cornell University)|2013. 12. 04.

Distributed Control Multi-Agent Systems인용 수 7

한 줄 요약

이 논문은 N명의 에이전트가 각각 국소적 볼록 함수를 보유하는 분산 ADMM 알고리즘에 대해 명시적인 선형 수렴 속도를 제공한다. 해의 곳에서 이차 미분 가능성과 헤시안 행렬의 정정규합이 만족될 경우, 수렴 속도는 헤시안과 네트워크 구조를 포함하는 행렬의 스펙트럼 반경으로 유도되며, 이는 ADMM 페널티 파라미터 ρ의 최적화를 통해 더 빠른 수렴을 가능하게 한다.

ABSTRACT

Consider a set of N agents seeking to solve distributively the minimization problem $\\inf_{x} \\sum_{n = 1}^N f_n(x)$ where the convex functions $f_n$ are local to the agents. The popular Alternating Direction Method of Multipliers has the potential to handle distributed optimization problems of this kind. We provide a general reformulation of the problem and obtain a class of distributed algorithms which encompass various network architectures. The rate of convergence of our method is considered. It is assumed that the infimum of the problem is reached at a point $x_\\star$, the functions $f_n$ are twice differentiable at this point and $\\sum \ abla^2 f_n(x_\\star) > 0$ in the positive definite ordering of symmetric matrices. With these assumptions, it is shown that the convergence to the consensus $x_\\star$ is linear and the exact rate is provided. Application examples where this rate can be optimized with respect to the ADMM free parameter $\ ho$ are also given.

연구 동기 및 목표

• 분산 ADMM의 수렴 속도를 일련의 조건 하에서 명시적이고 날카로운 수렴 속도로 확립하기 위해.
• 네트워크 구조와 알고리즘 파라미터가 수렴 속도에 미치는 영향을 분석하기 위해.
• 일반화된 에이전트 그룹화를 통해 완전히 중심화된 설정부터 완전히 분산된 설정까지 적용 가능한 프레임워크를 제공하기 위해.
• 수렴 성능 향상을 위해 ADMM 페널티 파라미터 ρ의 최적화를 가능하게 하기 위해.

제안 방법

• 다양한 네트워크 아키텍처를 모델링하기 위해 에이전트 그룹 A₁,…,Aₗ을 사용하여 분산 공감 최적화 문제를 재구성한다.
• 이 그룹화에 기반한 분산 ADMM 알고리즘을 도출하여 이중 및 클러스터 수준의 통신을 가능하게 한다.
• 이차 경우를 분석하기 위해 ADMM 반복을 애핀 변환 ζₖ₊₁ = Rζₖ + d로 모델링하고, 수렴은 행렬 R의 스펙트럼 반경에 의해 결정됨을 분석한다.
• 일반적인 경우로 확장하기 위해 비이차 함수를 R의 지배적인 고유공간 내의 페르터베이션으로 간주한다.
• R의 고유구조 분석을 통해 스펙트럼 반경 ρ(R)으로 정확한 선형 수렴 속도를 도출한다.
• 시뮬레이션에서 이론적 속도와 실측 수렴 속도가 일치함을 보여주어 수렴 속도가 날카로움을 입증한다.

실험 결과

연구 질문

• RQ1 부드러움 조건과 정정규 헤시안 조건 하에서 분산 ADMM의 정확한 선형 수렴 속도는 무엇인가?
• RQ2 네트워크 구조(예: 중심화된 네트워크 대 비틀림형 네트워크)는 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 ADMM 페널티 파라미터 ρ를 최적화하여 수렴 속도를 최소화할 수 있는가?
• RQ4 해의 국소 함수의 헤시안에 따라 수렴 속도는 어떻게 달라지는가?
• RQ5 이론적 수렴 속도는 날카로운가, 즉 실측 성능과 일치하는가?

주요 결과

• 선형 수렴 속도는 헤시안 합 ∑ₙ ∇²fₙ(x⋆)과 네트워크 구조에서 유도된 행렬의 스펙트럼 반경으로 명시적으로 기술된다.
• 중앙화된 네트워크의 경우 최적의 ρ는 N과 무관하게 두 번째 도함수 σ²⋆와 동일하다.
• 링 네트워크의 경우 수렴 속도 α는 ρ와 N에 모두 의존하며, ρ를 조정함으로써 최적화될 수 있다.
• 이론적 속도는 날카로움을 입증한다: 수치 시뮬레이션에서 −k⁻¹ log∥xₖ − x⋆∥가 −log α로 수렴함을 보였다.
• 비이차 함수에 대해서도 이전의 경계들(예: Shi et al.)보다 정확도가 높으며, 성능이 뛰어나다.
• 이 방법은 ρ와 네트워크 구조 최적화를 통해 수렴 성능 향상을 도모할 수 있는 ADMM 변형의 설계를 가능하게 한다.