[논문 리뷰] Fixed-time Distributed Optimization under Time-Varying Communication Topology

Kunal Garg, Mayank Baranwal외 2명|arXiv (Cornell University)|2019. 05. 24.

Distributed Control Multi-Agent Systems참고 문헌 14인용 수 12

한 줄 요약

이 논문은 시간에 따라 변하는 통신 상호작용 구조를 갖는 네트워크를 대상으로 고정된 시간 내에 전역 최적해로 수렴하는 고정시간 분산 최적화 알고리즘을 제안한다. 초기 조건에 관계없이 보장된 시간 이내에 수렴하도록 보장한다. 엄격한 볼록 문제에 대해 이차형 헤시안 정보를 활용한 비선형 프로토콜과 강한 볼록 케이스에 대한 일阶 변형을 제안하며, 폴리악-로자예프스키 불등식을 만족하는 비볼록 문제로까지 확장한다.

ABSTRACT

This paper presents a method to solve distributed optimization problem within a fixed time over a time-varying communication topology. Each agent in the network can access its private objective function, while exchange of local information is permitted between the neighbors. This study investigates first nonlinear protocol for achieving distributed optimization for time-varying communication topology within a fixed time independent of the initial conditions. For the case when the global objective function is strictly convex, a second-order Hessian based approach is developed for achieving fixed-time convergence. In the special case of strongly convex global objective function, it is shown that the requirement to transmit Hessians can be relaxed and an equivalent first-order method is developed for achieving fixed-time convergence to global optimum. Results are further extended to the case where the underlying team objective function, possibly non-convex, satisfies only the Polyak-Łojasiewicz (PL) inequality, which is a relaxation of strong convexity.

연구 동기 및 목표

• 초기 조건에 따라 수렴 시간이 달라지는 시간에 따라 변하는 통신 상호작용 네트워크에서의 분산 최적화 문제를 해결하기 위해.
• 초기 상태에 영향을 받지 않고 고정된 시간 내에 전역 최적해로 수렴하는 비선형 프로토콜을 개발하기 위해.
• 강한 볼록 목표 함수에 대해 헤시안 정보의 전송 의존도를 줄이기 위해 등가의 일阶 방법을 제안하기 위해.
• 폴리악-로자예프스키 불등식을 만족하는 비볼록 문제로 프레임워크를 확장하기 위해.

제안 방법

• 지역 목표 함수와 이웃 간 정보 교환을 이용해 고정시간 수렴을 보장하는 비선형 프로토콜을 설계한다.
• 엄격한 볼록 목표 함수에 대해 고정시간 수렴을 달성하기 위해 이차형 헤시안 기반 동역학을 적용한다.
• 강한 볼록 함수에 대해 헤시안 행렬 전송이 필요 없이 고정시간 수렴을 유지하는 일阶 등가 방법을 개발한다.
• 강한 볼록성의 약화된 조건으로서 폴리악-로자예프스키(PL) 불등식을 활용해 비볼록 문제로 접근을 확장한다.
• 시간에 따라 변하는 통신 그래프 상에서 고정시간 수렴을 증명하기 위해 라파노프 기반 분석을 사용한다.
• 분산 계산을 유지하기 위해 이웃 간의 국소 정보 교환을 통합한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 통신 상호작용 네트워크에서 고정된 시간 내에 분산 최적화를 달성할 수 있는가?
• RQ2 초기 조건에 의존하지 않고 분산 환경에서 고정시간 수렴을 보장할 수 있는가?
• RQ3 강한 볼록 문제에서 헤시안 전송을 제거하면서도 고정시간 수렴을 유지할 수 있는가?
• RQ4 PL 불등식을 만족하는 비볼록 문제로 프레임워크를 확장할 수 있는가?
• RQ5 고정시간 수렴을 위해 통신 상호작용 네트워크와 목표 함수에 대해 필요한 최소한의 가정은 무엇인가?

주요 결과

• 제안된 비선형 프로토콜은 시간에 따라 변하는 네트워크에서 초기 조건에 관계없이 전역 최적해로 고정시간 수렴을 달성한다.
• 엄격한 볼록 목표 함수에 대해 헤시안 기반 이차형 방법은 고정시간 수렴을 보장하며 수렴 시간의 상한도 보장한다.
• 강한 볼록 목표 함수에 대해 헤시안 전송이 필요 없이 고정시간 수렴을 유지하는 일阶 방법이 개발되었다.
• 폴리악-로자예프스키 불등식을 만족하는 비볼록 문제로 프레임워크가 확장되어 더 약한 볼록성 가정 하에서도 고정시간 수렴을 보장한다.
• 라파노프 안정성 분석을 통해 통신 상호작용 네트워크가 시간에 따라 변화하더라도 고정된 시간 내에 수렴이 확인된다.
• 지역 목표 함수와 이웃 간 정보 교환에 의존함으로써 분산 계산이 유지된다.