[논문 리뷰] A Fast Distributed Asynchronous Newton-Based Optimization Algorithm

Fatemeh Mansoori, Ermin Wei|arXiv (Cornell University)|2019. 01. 04.

Distributed Control Multi-Agent Systems참고 문헌 49인용 수 5

한 줄 요약

이 논문은 네트워크 시스템에서 국소 볼록 함수의 합을 최소화하기 위해 이방향 분산 뉴턴 기반 최적화 알고리즘을 제안한다. 두 번째 차수 정보를 활용하고 에이전트들이 오래된 데이터를 사용하여 독립적으로 업데이트할 수 있도록 함으로써, 기대값 기준으로 전역 선형 수렴 속도와 국소 이차 수렴 속도를 확보하며 거의 확실한 수렴을 달성한다. 수치 실험에서 기존의 이방향 방법들보다 뛰어난 성능을 보였다.

ABSTRACT

One of the most important problems in the field of distributed optimization is the problem of minimizing a sum of local convex objective functions over a networked system. Most of the existing work in this area focus on developing distributed algorithms in a synchronous setting under the presence of a central clock, where the agents need to wait for the slowest one to finish the update, before proceeding to the next iterate. Asynchronous distributed algorithms remove the need for a central coordinator, reduce the synchronization wait, and allow some agents to compute faster and execute more iterations. In the asynchronous setting, the only known algorithms for solving this problem could achieve either linear or sublinear rate of convergence. In this work, we built upon the existing literature to develop and analyze an asynchronous Newton-based method to solve a penalized version of the problem. We show that this algorithm guarantees almost sure convergence with global linear and local quadratic rate in expectation. Numerical studies confirm superior performance of our algorithm against other asynchronous methods.

연구 동기 및 목표

• 동기화된 분산 최적화의 한계를 해결하기 위해 중앙 시계가 필요로 하고 가장 느린 에이전트에 의해 발생하는 병목 현상이 발생하는 문제를 해결하기 위해.
• 협조가 필요 없고 동기화 지연을 줄이는 이방향 분산 알고리즘을 개발하기 위해.
• 분산 최적화에서 기대값 기준으로 빠른 수렴 속도—특히 전역 선형 및 국소 이차 수렴 속도—를 달성하기 위해.
• 임의의 지연 조건 하에서도 수렴 보장이 보장되는 이방향 설정으로 뉴턴 기반 방법을 확장하기 위해.
• 로지스틱 회귀 및 합성 데이터에 대한 수치 연구를 통해 알고리즘의 우수성을 검증하기 위해.

제안 방법

• 에이전트 간 분산 최적화를 가능하게 하기 위해 공익 문제의 정규화된 형태를 사용한다.
• 각 에이전트는 의사결정 변수의 국소 복제를 유지하고 자신의 국소 시계에 따라 이방향으로 업데이트한다.
• 업데이트 규칙은 헤시안 역행렬의 절단된 테일러 급수 근사에 의해 두 번째 차수 정보(헤시안)를 통합한다.
• 이 방법은 이웃 에이전트로부터 오래된 정보를 사용할 수 있도록 하여 임의의 지연 조건 하에서도 완전한 이방향성을 지원한다.
• 단위 및 비균일한 활성화 확률 조건 하에서 수렴 분석을 수행하며, 스텝 사이즈 및 페널티 파라미터에 대한 범위를 제시한다.
• 감소하는 스텝 사이즈와 페널티 계수 α를 사용하여 알고리즘을 구현하며, 최적 성능를 위해 조정한다.

실험 결과

연구 질문

• RQ1 중앙 조율자가 없는 이방향 환경에서 분산 뉴턴 기반 방법이 빠른 수렴을 달성할 수 있는가?
• RQ2 기대값 기준으로 이방향 두 번째 차수 방법이 보장할 수 있는 수렴 속도(선형, 이차)는 무엇인가?
• RQ3 임의의 지연과 비균일한 에이전트 활성화 패턴 하에서 알고리즘은 어떻게 작동하는가?
• RQ4 실제로 이방향 뉴턴 방법은 ADMM 및 가십과 같은 기존의 이방향 알고리즘을 능가하는가?
• RQ5 수렴과 최적 성능를 보장하기 위해 어떤 파라미터 설정(예: 스텝 사이즈, 페널티 계수)이 필요한가?

주요 결과

• 제안된 이방향 네트워크 뉴턴 알고리즘은 임의의 지연과 비균일한 활성화 확률 조건 하에서도 거의 확실한 수렴을 보장한다.
• 알고리즘은 기대값 기준으로 전역 선형 수렴 속도와 국소 이차 수렴 속도를 달성하며, 이는 기존의 이방향 방법들에 비해 상당한 향상이다.
• 당뇨병 스케일 데이터셋에 대한 수치 결과는 이방향 네트워크 뉴턴 방법이 이방향 ADMM 및 가십 알고리즘보다 더 빨리 수렴함을 보여준다.
• 비균일한 활성화 상황에서 가장 느린 에이전트의 활성화 확률이 낮을 경우, 이방향 알고리즘이 동기화된 버전보다 우수한 성능을 보였다.
• 오래된 정보가 있어도 성능을 유지하여 이방향성과 통신 지연에 대한 강건성을 입증하였다.
• 시뮬레이션에서 가로축은 반복 횟수가 아니라 업데이트 횟수를 사용하여, 한 번의 반복에 여러 에이전트를 업데이트하는 알고리즘과의 공정한 비교를 보장한다.