[논문 리뷰] On the O(1/k) Convergence of Asynchronous Distributed Alternating Direction Method of Multipliers

Ermin Wei, Asuman Ozdaglar|arXiv (Cornell University)|2013. 07. 31.

Distributed Control Multi-Agent Systems참고 문헌 39인용 수 44

한 줄 요약

이 논문은 분리 가능한 目적과 선형 제약 조건을 가진 볼록 최적화를 위한 이방향 분산 ADMM 알고리즘을 제안하며, 전역 동기화가 필요 없이 네트워크 내 에이전트 간에 탈중앙화된 계산을 가능하게 한다. 목적 함수 값과 제약 위반에 대해 O(1/k) 수렴 속도를 확립하여, 하위기울기 방법의 O(1/√k) 속도보다 크게 향상시킨다.

ABSTRACT

We consider a network of agents that are cooperatively solving a global optimization problem, where the objective function is the sum of privately known local objective functions of the agents and the decision variables are coupled via linear constraints. Recent literature focused on special cases of this formulation and studied their distributed solution through either subgradient based methods with O(1/sqrt(k)) rate of convergence (where k is the iteration number) or Alternating Direction Method of Multipliers (ADMM) based methods, which require a synchronous implementation and a globally known order on the agents. In this paper, we present a novel asynchronous ADMM based distributed method for the general formulation and show that it converges at the rate O(1/k).

연구 동기 및 목표

• 동기화된 하위기울기 기반 방법의 분산 다중에이전트 최적화에서의 한계를 해결하기 위해, 느린 O(1/√k) 수렴 속도를 겪는 문제를 해결한다.
• 전역 시계나 동기화된 에이전트 업데이트에 의존하지 않는 완전히 이방향 분산 알고리즘을 기반으로 ADMM을 개발한다.
• 일반적인 볼록 최적화 프레임워크에서 목적 함수 값과 타당성 위반에 대해 O(1/k) 수렴 속도를 보장하는 수렴 보장을 수립한다.
• 분리 가능한 목적과 선형 결합 제약 조건을 가진 일반 문제에 ADMM 기반 방법을 확장하여 실제 분산 학습 및 자원 할당 작업에 적용 가능하게 한다.

제안 방법

• 에이전트는 국소 정보와 지연된 이웃 데이터를 사용하여 독립적으로 변수를 업데이트하는 이방향 ADMM 프레임워크를 사용한다.
• 결합 제약 조건을 다루고 수렴을 보장하기 위해 페널티 파rameter를 포함한 수정된 증가된 라그랑주 함수를 도입한다.
• 랜덤으로 에이전트를 선택하고 이방향 업데이트를 수행하며, 각 에이전트는 조율 없이 국소 계산을 수행하고 이웃과 통신한다.
• 수렴 분석은 기대값을 사용한 반복값과 리아푸노프 함수를 활용하여 시간에 따른 이중성 갭과 제약 위반을 극한으로 제한한다.
• 핵심 구성 요소로는 이중 변수 업데이트에 가중치 노름의 사용과 기대 목적 함수 값과 진짜 최적 값 간의 관계를 유도하기 위해 젠센의 부등식의 적용이 포함된다.
• 이론적 분석은 볼록 함수의 성질과 하위기울기 부등식을 활용하여 O(1/k) 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 전역 동기화가 필요 없이 이방향 ADMM 기반 방법이 분산 다중에이전트 최적화에서 O(1/k) 수렴을 달성할 수 있는가?
• RQ2 제안된 이방향 ADMM의 수렴 속도는 O(1/√k) 수렴 속도를 갖는 기존 하위기울기 기반 방법과 비교해 어떻게 되는가?
• RQ3 네트워크 시스템에서 이방향성과 지연된 정보 하에서 타당성과 목적 함수 값 수렴에 대한 이론적 보장은 무엇인가?
• RQ4 에이전트가 임의의, 가능하면 불규칙한 간격으로 업데이트할 경우 알고리즘의 수렴 성능은 어떻게 되는가?

주요 결과

• 제안된 이방향 ADMM 알고리즘은 거의 확실하게 분산 최적화 문제의 최적 해에 수렴한다.
• 목적 함수 값은 O(1/k) 속도로 최적 값에 수렴하며, 이는 하위기울기 방법의 O(1/√k) 속도보다 훨씬 빠르다.
• 잔차 D̄x(T) + Hz(T)의 노름으로 측정된 타당성 위반 또한 O(1/k) 속도로 수렴한다.
• 강한 볼록성이나 리프시츠 기울기 조건을 요구하지 않는 일반적인 볼록성 가정 하에서 수렴 속도가 확립된다.
• 이론적 분석은 이방향 업데이트와 지연된 정보를 고려하여 네트워크 지연과 비정규적인 에이전트 활동에 대한 강건성을 입증한다.
• 수렴 경계는 초기 반복값, 이중 변수, 문제 파rameter에 의존하지만, 네트워크 토폴로지나 업데이트 타이밍과 관계없이 항상 O(1/k)로 유지된다.