[논문 리뷰] On the Convergence of a Multi-Agent Projected Stochastic Gradient Algorithm

Pascal Bianchi, Jérémie Jakubowicz|arXiv (Cornell University)|2011. 07. 13.

Distributed Control Multi-Agent Systems참고 문헌 36인용 수 8

한 줄 요약

이 논문은 이중 확률적 게이ossip 행렬이 필요하지 않은 비볼록 최적화를 위한 분산형 다중 에이전트 확률적 경사하강 알고리즘을 제안한다. 감소하는 스텝 사이즈를 사용함으로써 점점 더 수렴하고 카르쉬-쿠른-터커(Karush-Kuhn-Tucker) 점으로 수렴하며, 통신 비용을 최소화한 브로드캐스트 전용 네트워크에서 에너지 효율적인 운영을 가능하게 한다.

ABSTRACT

We introduce a new framework for the convergence analysis of a class of distributed constrained non-convex optimization algorithms in multi-agent systems. The aim is to search for local minimizers of a non-convex objective function which is supposed to be a sum of local utility functions of the agents. The algorithm under study consists of two steps: a local stochastic gradient descent at each agent and a gossip step that drives the network of agents to a consensus. Under the assumption of decreasing stepsize, it is proved that consensus is asymptotically achieved in the network and that the algorithm converges to the set of Karush-Kuhn-Tucker points. As an important feature, the algorithm does not require the double-stochasticity of the gossip matrices. It is in particular suitable for use in a natural broadcast scenario for which no feedback messages between agents are required. It is proved that our result also holds if the number of communications in the network per unit of time vanishes at moderate speed as time increases, allowing for potential savings of the network's energy. Applications to power allocation in wireless ad-hoc networks are discussed. Finally, we provide numerical results which sustain our claims.

연구 동기 및 목표

• 비볼록 목표 함수를 가진 다중 에이전트 시스템을 위한 분산 최적화 프레임워크를 개발하는 것.
• 최소한의 통신 제약 조건 하에서 카르쉬-쿠른-터커(Karush-Kuhn-Tucker) 점으로의 수렴을 보장하는 것.
• 이중 확률적 게이ossip 행렬이 필요 없도록 제거하여 자연스러운 브로드캐스트 환경에서의 사용을 가능하게 하는 것.
• 시간이 지남에 따라 통신 빈도를 점차 감소시킬 수 있도록 허용하는 것.
• 알고리즘을 무선 애드혹 네트워크에서의 전력 할당에 적용하는 것.

제안 방법

• 각 에이전트는 자체의 로컬 유틸리티 함수를 사용하여 국소적인 확률적 경사하강을 수행한다.
• 혼합 행렬에 이중 확률적 성질이 필요 없도록, 에이전트들이 공감에 도달하도록 하는 게이솝 스텝을 적용한다.
• 스테이플 사이즈를 감소시켜 확률적 경사하강에도 불구하고 수렴을 보장한다.
• 네트워크의 토폴로지가 시간에 따라 변화하며, 통신 빈도는 시간이 지남에 따라 중간 정도로 감소하도록 허용된다.
• 수렴성을 증명하기 위해 르아플라운프 유형의 추론과 확률적 근사 이론을 분석에 활용한다.
• 무선 전력 할당 시나리오에서의 수치 시뮬레이션을 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 이중 확률적 게이솝 행렬이 필요 없이 분산 다중 에이전트 확률적 경사하강 알고리즘이 KKT 점으로 수렴할 수 있는가?
• RQ2 에이전트 간의 통신 빈도가 시간이 지남에 따라 감소할 경우 알고리즘의 성능은 어떻게 되는가?
• RQ3 감소하는 스텝 사이즈와 비볼록 목표 함수 조건 하에서 네트워크에서 점점 더 수렴이 달성되는가?
• RQ4 피드백이 없는 자연스러운 브로드캐스트 환경에서도 알고리즘이 효과적으로 적용될 수 있는가?
• RQ5 통신 빈도 감소가 수렴성과 에너지 효율성에 미치는 영향은 무엇인가?

주요 결과

• 감소하는 스텝 사이즈를 사용하고 이중 확률적 게이솝 행렬이 필요 없을 경우에도 네트워크에서 점점 더 수렴이 달성된다.
• 분산 비볼록 최적화 문제에 대해 카르쉬-쿠른-터커(Karush-Kuhn-Tucker) 점 집합으로의 수렴이 증명된다.
• 시간이 지남에 따라 단위 시간당 통신 횟수가 중간 정도의 속도로 감소하더라도 알고리즘이 여전히 유효하다.
• 낮은 통신 요구 조건 덕분에 에너지 제약 환경에 적합한 프레임워크이다.
• 수치 결과는 무선 애드혹 네트워크 전력 할당 시나리오에서 이론적 주장이 확인됨을 확인한다.
• 피드백이 없는 브로드캐스트 전용 환경에서의 실용적 구현을 가능하게 한다.