[논문 리뷰] Distributed Optimization of Nonconvex Functions over Time-Varying Graphs

Bryan Van Scoy, Laurent Lessard|arXiv (Cornell University)|2019. 05. 28.

Distributed Control Multi-Agent Systems참고 문헌 6인용 수 4

한 줄 요약

이 논문은 시간에 따라 변화하는 방향성 그래프 위에서 비볼록 국소 함수의 평균을 최소화하기 위한 새로운 분산 최적화 알고리즘을 제안한다. 통신과 계산을 동적으로 균형 잡음으로써, 알고리즘은 중심 집중형 경사하강법과 동일한 수렴 속도를 달성하며, 분산 목표 위치 추정 사례 연구를 통해 검증된다.

ABSTRACT

We consider the distributed optimization problem where a group of agents seeks to cooperatively compute the optimizer of the average of local functions over a time-varying directed communication network. To solve this problem, we propose a novel algorithm which adjusts the ratio between the number of communications and computations to achieve fast convergence. In particular, the iterates of our algorithm converge to the optimizer at the same rate as those of centralized gradient descent in terms of the number of computations. We compare our algorithm with other known algorithms on a distributed target localization problem.

연구 동기 및 목표

• 시간에 따라 변화하는 방향성 네트워크에서 비볼록 함수의 분산 최적화 문제를 다루기 위해, 에이전트들이 자신의 국소 함수 평균을 최소화하도록 협력하는 환경에서의 최적화를 해결한다.
• 계산 측면에서 중심 집중형 경사하강법의 수렴 속도를 따라잡는 알고리즘을 설계함으로써, 통신 제약 조건에 적응할 수 있도록 한다.
• 통신 및 계산 단계 간의 비율을 조정하여 분산 환경에서의 효율성을 향상시킨다.
• 실세계 분산 목표 위치 추정 문제에서 알고리즘의 성능을 검증한다.

제안 방법

• 수렴 속도를 최적화하기 위해 통신 및 계산 단계 간의 동적 조정 메커니즘을 사용한다.
• 시간에 따라 변화하는 방향성 그래프를 기반으로 작동하여, 더 유연하고 현실적인 네트워크 구조를 허용한다.
• 반복 계산값이 계산 횟수에 대해 중심 집중형 경사하강법과 동일한 속도로 수렴하도록 보장한다.
• 에이전트 간의 협력적 업데이트를 위해 국소 경사 정보와 공감 기반 업데이트를 사용한다.
• 비볼록성 가정 하에 수렴 분석을 수행하여, 볼록 설정을 초월한 결과를 확장한다.

실험 결과

연구 질문

• RQ1 비볼록 함수에 대해, 분산 알고리즘이 계산 측면에서 중심 집중형 경사하강법과 동일한 수렴 속도를 달성할 수 있는가?
• RQ2 시간에 따라 변화하는 네트워크에서 통신과 계산을 동적으로 균형 잡는 것이 수렴 속도에 어떤 영향을 미치는가?
• RQ3 통신-계산 비율을 적응적으로 조정함으로써 분산 비볼록 최적화에서 달성할 수 있는 성능 향상은 무엇인가?
• RQ4 실제 분산 목표 위치 추정 작업에서 알고리즘이 실제로 어떻게 스케일링되는가?

주요 결과

• 제안된 알고리즘은 계산 횟수 측면에서 중심 집중형 경사하강법과 동일한 수렴 속도를 달성한다.
• 시간에 따라 변화하는 방향성 통신 그래프에서도 빠른 수렴을 유지하며, 이는 정적 또는 무방향 그래프보다 더 도전적인 환경이다.
• 통신과 계산의 동적 조정은 고정 비율 접근 방식에 비해 향상된 효율성을 제공한다.
• 분산 목표 위치 추정 문제에 대한 실증 평가 결과, 기존 방법들에 비해 수렴 속도와 정확도 면에서 알고리즘의 우수성이 확인되었다.