[논문 리뷰] Asynchronous Subgradient-Push.

Mahmoud Assran, Michael Rabbat|arXiv (Cornell University)|2018. 03. 23.

Distributed Control Multi-Agent Systems참고 문헌 31인용 수 17

한 줄 요약

이 논문은 다중 에이전트 네트워크에서 각 에이전트가 국소 함수의 합을 최소화하도록 설계된 비동기 분산 최적화 알고리즘인 Asynchronous Subgradient-Push를 제안한다. 비동기 조건 하에서도 전역 최소값의 이웃 영역으로 수렴하며, 에이전트가 동기적으로 작동할 경우 정확한 수렴을 달성한다. 이는 속도, 내구성, 확장성 측면에서 기존의 동기 1차 방법보다 뛰어나다.

ABSTRACT

We consider a multi-agent framework for distributed optimization where each agent in the network has access to a local convex function and the collective goal is to achieve consensus on the parameters that minimize the sum of the agents' local functions. We propose an algorithm wherein each agent operates asynchronously and independently of the other agents in the network. When the local functions are strongly-convex with Lipschitz-continuous gradients, we show that a subsequence of the iterates at each agent converges to a neighbourhood of the global minimum, where the size of the neighbourhood depends on the degree of asynchrony in the multi-agent network. When the agents work at the same rate, convergence to the global minimizer is achieved. Numerical experiments demonstrate that Asynchronous Subgradient-Push can minimize the global objective faster than state-of-the-art synchronous first-order methods, is more robust to failing or stalling agents, and scales better with the network size.

연구 동기 및 목표

• 신뢰성 없거나 변동성이 있는 업데이트 타이밍을 가진 다중 에이전트 네트워크에서의 분산 최적화 문제를 해결하기 위해.
• 에이전트들이 독립적이고 비동기적으로 작동함에도 불구하고 전역 최소값으로 수렴할 수 있도록 알고리즘을 설계하기 위해.
• 비동기성의 영향을 수렴 정확도에 미치는 영향을 분석하고, 전역 최소값 주변의 이웃 영역 크기를 정량화하기 위해.
• 속도, 장애 내성, 확장성 측면에서 기존의 동기 1차 방법을 향상시키기 위해.

제안 방법

• 각 에이전트는 최적 파라미터의 국소 추정치를 유지하고, 자신의 국소 볼록 함수의 서브기울기를 사용하여 이를 업데이트한다.
• 에이전트들은 방향성 네트워크를 통해 푸시-섬 프로토콜을 사용하여 추정치를 교환하여 정보 교환의 균형을 유지한다.
• 업데이트 과정은 에이전트 간의 조율이나 동기화가 필요 없이 비동기적으로 수행된다.
• 비동기 조건 하에서도 수렴을 보장하기 위해 감소하는 스텝 사이즈 규칙을 사용한다.
• 네트워크 구조는 시간에 따라 변하는 방향성 그래프로 모델링되어 동적이고도 신뢰성 없는 통신을 허용한다.
• 에이전트의 업데이트 타이밍에 대한 약한 가정 하에 리아푸노프 함수와 확률적 근사 기법을 사용하여 수렴성을 분석한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 최적화에서 비동기성은 분산 서브기울기 방법의 수렴 행동에 어떻게 영향을 미치는가?
• RQ2 비동기 알고리즘이 전역 최소값으로 수렴할 수 있는가? 만약 불가능하다면, 얼마나 가까이 접근할 수 있는가?
• RQ3 비동기 정도와 전역 최소값 주변의 이웃 영역 크기 사이의 관계는 무엇인가?
• RQ4 실제로 비동기 알고리즘의 성능은 최신 동기 1차 방법과 비교하여 어떻게 되는가?
• RQ5 대규모 네트워크에서 장애 발생 또는 정지하는 에이전트에 대해 알고리즘이 얼마나 내구성이 있는가?

주요 결과

• 각 에이전트에서의 반복값 중 일부 수열은 전역 최소값의 이웃 영역으로 수렴하며, 이 이웃 영역의 크기는 비동기 정도가 클수록 커진다.
• 에이전트들이 동일한 속도로 작동할 경우(즉, 동기적으로 작동할 경우), 알고리즘은 정확히 전역 최소값으로 수렴한다.
• 수치 실험 결과, Asynchronous Subgradient-Push는 최신 동기 1차 방법보다 전역 목표 함수를 더 빨리 최소화하는 것으로 나타났다.
• 동기 대안 대비 실패하거나 정지하는 에이전트에 더 내구성이 있다.
• 비동기적이고 분산된 특성 덕분에 네트워크 크기가 증가함에 따라 더 잘 확장된다.
• 최대 업데이트 지연에 기반하여 수렴 이웃 영역의 크기가 정량적으로 경계된다.