[논문 리뷰] Distributed Nonconvex Multiagent Optimization Over Time-Varying Networks

Ying Sun, Gesualdo Scutari외 1명|arXiv (Cornell University)|2016. 07. 01.

Distributed Control Multi-Agent Systems참고 문헌 24인용 수 17

한 줄 요약

이 논문은 시간에 따라 변화하는 방향성 네트워크에서 비볼록 제약 최적화를 위한 새로운 브로드캐스트 기반 분산 알고리즘인 SONATA를 제안한다. Successive Convex Approximation (SCA)와 기울기 추적을 결합하고 새로운 네트워크 내 브로드캐스트 프로토콜을 도입하여, 双중 스토하스틱 일致 매트릭스나 그래프 시퀀스에 대한 사전 지식 없이도 정적 해에 수렴함을 보장한다. 이는 임의의 시간에 따라 변화하는 방향성 그래프에 대해 이러한 프레임워크를 처음으로 구현한 것이다.

ABSTRACT

We study nonconvex distributed optimization in multiagent networks where the communications between nodes is modeled as a time-varying sequence of arbitrary digraphs. We introduce a novel broadcast-based distributed algorithmic framework for the (constrained) minimization of the sum of a smooth (possibly nonconvex and nonseparable) function, i.e., the agents' sum-utility, plus a convex (possibly nonsmooth and nonseparable) regularizer. The latter is usually employed to enforce some structure in the solution, typically sparsity. The proposed method hinges on Successive Convex Approximation (SCA) techniques coupled with i) a tracking mechanism instrumental to locally estimate the gradients of agents' cost functions; and ii) a novel broadcast protocol to disseminate information and distribute the computation among the agents. Asymptotic convergence to stationary solutions is established. A key feature of the proposed algorithm is that it neither requires the double-stochasticity of the consensus matrices (but only column stochasticity) nor the knowledge of the graph sequence to implement. To the best of our knowledge, the proposed framework is the first broadcast-based distributed algorithm for convex and nonconvex constrained optimization over arbitrary, time-varying digraphs. Numerical results show that our algorithm outperforms current schemes on both convex and nonconvex problems.

연구 동기 및 목표

• 시간에 따라 변화하는 방향성 통신 토폴로지가 있는 다중 에이전트 네트워크에서 분산 비볼록 최적화 문제를 해결하는 데 도전한다.
• 이중 스토하스틱 일치 매트릭스나 네트워크 시퀀스에 대한 사전 지식 없이도 스케일러블하고 완전히 분산된 알고리즘을 개발한다.
• 새로운 브로드캐스트 프로토콜을 사용하여 에이전트 간의 효율적인 계산 및 정보 공유를 가능하게 한다.
• 네트워크 구조에 대한 최소한의 가정 하에 비볼록 문제에 대한 수렴 보장을 수립한다.
• 실제 네트워크 제약 조건 하에서 기존 방법보다 볼록 및 비볼록 설정 모두에서 우수한 성능을 보이도록 경험적으로 검증한다.

제안 방법

• 비볼록성을 다루기 위해 반복적으로 볼록 하위문제를 해결하는 Successive Convex Approximation (SCA)을 사용한다.
• 각 에이전트는 국소 기울기 추적 메커니즘을 통해 다른 에이전트의 함수 기울기를 추적한다.
• 새로운 네트워크 내 브로드캐스트 프로토콜을 통해 피드백 없이도 정보의 효율적 확산과 계산 분산을 가능하게 한다.
• 이중 스토하스틱 매트릭스가 아닌 열 스토하스틱 일치 매트릭스를 사용함으로써 임의의 디그래프에 광범위하게 적용 가능하게 한다.
• 에이전트가 자신의 국소 함수만 알고 있으며 전역 네트워크 지식이 없더라도 작동하는 완전히 분산된 방식으로 설계되어 있다.
• 부드러운 비볼록 및 볼록 비연속 정규화를 모두 지원하여 스파arsity와 같은 구조적 해를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이중 스토하스틱성이 필요 없이도 임의의 시간에 따라 변화하는 디그래프에서 비볼록 다중 에이전트 최적화에 대해 분산 알고리즘이 정적 해에 수렴할 수 있는가?
• RQ2 완전히 분산되고 확장 가능한 방식으로 에이전트는 다른 에이전트의 함수 기울기를 어떻게 추정할 수 있는가?
• RQ3 방향성 및 시간에 따라 변화하는 네트워크에서 전통적인 일치 기반 기법 대비 브로드캐스트 기반 프로토콜이 어떤 영향을 미치는가?
• RQ4 제안된 알고리즘이 실용적인 네트워크 제약 조건 하에서 볼록 및 비볼록 최적화 문제에서 기존 기법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 네트워크 토폴로지와 에이전트 지식에 대한 최소한의 가정 하에서 알고리즘의 수렴 성질은 어떠한가?

주요 결과

• SONATA는 이중 스토하스틱 일치 매트릭스가 필요 없이도 임의의 시간에 따라 변화하는 디그래프에서 비볼록 문제에 대해 정적 해에 점차 수렴한다.
• 볼록 및 비볼록 문제 모두에서 하위기울기-푸시(subgradient-push) 및 기타 최첨단 기법보다 수렴 속도와 일치 정확도 측면에서 뛰어나다.
• 수치적 결과는 SONATA가 하위기울기-푸시보다 수렴과 일치를 훨씬 더 빠르게 달성함을 보여주며, 특히 비볼록 설정에서 두드러진다.
• 부분 선형화와 프록시 항을 포함한 SCA 기반 방법은 단순 선형화보다 목표 위치 추정 문제에서 수렴 성능을 향상시킨다.
• 30개 센서와 5개 목표가 있는 목표 위치 추정 문제에서, SONATA는 200회 반복 이내로 기준 기울기 알고리즘보다 더 빠른 수렴을 달성했다.
• 알고리즘은 노이즈 환경에서도 강건하며, 거리 측정값이 i.i.d. 가우시안 노이즈에 의해 손상되어도 여전히 빠른 수렴을 유지한다.