[논문 리뷰] Geometric Convergence for Distributed Optimization with Barzilai-Borwein Step Sizes

Juan Gao, Xinwei Liu외 3명|arXiv (Cornell University)|2019. 07. 18.

Distributed Control Multi-Agent Systems참고 문헌 51인용 수 4

한 줄 요약

이 논문은 다중 에이전트 최적화에서 정확한 최적 해로 기하 수렴을 달성하기 위해 바르질라이-보우인(BB) 단계 크기를 사용하는 분산 기울기 방법인 DGM-BB-C를 제안한다. 적응-그룹화 동적 평균 일치와 다중 일치 내부 루프를 조합함으로써, 각 에이전트는 오직 국소 정보만을 사용하여 자신의 단계 크기를 계산할 수 있게 되어 더 큰, 적응형 단계 크기를 유지하면서도 증가하는 일치 단계를 요구하지 않고 선형 수렴을 유지할 수 있다.

ABSTRACT

We consider a distributed multi-agent optimization problem over a time-invariant undirected graph, where each agent possesses a local objective function and all agents collaboratively minimize the average of all objective functions through local computations and communications among neighbors. Recently, a class of distributed gradient methods has been proposed that achieves both exact and geometric convergence when a constant step size is used. The geometric convergence of these methods is ensured for conservatively selected step sizes, but how to choose an appropriate step size while running the algorithms has not been fully addressed. The Barzilai-Borwein (BB) method is a simple and effective technique for step sizes and requires few storage and inexpensive computations. It has been widely applied in various areas. In this paper, we introduce the BB method to distributed optimization. Based on an adapt-then-combine variation of the dynamic average consensus approach and using multi-consensus inner loops, we propose a distributed gradient method with BB step sizes (DGM-BB-C). Our method computes the step size for each agent automatically which only depends on its local information and is independent of that for other agents, and the larger step sizes are always permissible. Our method can seek the exact optimum when the number of consensus steps stays constant. We prove that DGM-BB-C has geometric convergence to the optimal solution. Simulation results on a distributed sensing problem show that our method is superior to some advanced methods in terms of iterations, gradient evaluations, communications and the related cost framework. These results validate our theoretical discoveries.

연구 동기 및 목표

• 분산 기울기 방법에서 정확하고 기하 수렴을 보장하는 적절한 상수 단계 크기를 선택하는 데 도전하는 것.
• 전체 협조 없이도 각 에이전트가 국소 정보만을 사용하여 단계 크기를 자동으로 계산하는 분산 최적화 알고리즘을 개발하는 것.
• 고정 또는 감소하는 단계 크기의 한계를 극복하면서도 더 큰, 적응형 단계 크기를 유지하면서 선형 수렴을 유지하는 것.
• 증가하는 내부 루프가 필요로 하는 방법들과는 달리, 일정한 수의 일치 반복 횟수로 정확한 수렴을 달성하는 것.
• 이론적 수렴 성능을 분산 센싱 및 최소 제곱 문제에 대한 수치 실험을 통해 검증하는 것.

제안 방법

• 에이전트 간 평균 기울기를 추적하기 위해 동적 평균 일치의 적응-그룹화 변형을 사용한다.
• 기울기 추적 정확도와 수렴 안정성을 향상시키기 위해 다중 일치 내부 루프를 사용한다.
• 각 에이전트는 국소 기울기 차이를 기반으로 자신의 바르질라이-보우인 단계 크기를 계산하여 다른 에이전트의 단계 크기 의존성을 제거한다.
• BB 단계 크기 규칙을 국소적으로 적용함으로써 더 크고 적응형 단계 크기를 가능하게 하여 수렴 속도를 향상시킨다.
• 알고리즘은 비협조적이고 더 큰 단계 크기 조건에서도 여전히 기하 수렴을 유지하도록 설계되어 있다.
• 강력 볼록성과 매끄러움 조건을 가정할 때, 이 방법은 정확한 해로 선형 수렴함을 증명하였다.

실험 결과

연구 질문

• RQ1 바르질라이-보우인 단계 크기를 분산 최적화에 효과적으로 적용하여 더 큰, 적응형 단계 크기를 사용하면서도 기하 수렴을 달성할 수 있는가?
• RQ2 이전 방법들이 증가하는 내부 루프가 필요로 하는 것과는 달리, 일정한 수의 일치 단계 수를 유지할 때도 제안된 방법이 정확한 수렴을 유지하는가?
• RQ3 상태 기반 알고리즘과 비교할 때, BB 기반 분산 방법의 반복 횟수, 기울기 평가 수, 통신 비용 측면에서의 성능은 어떠한가?
• RQ4 다양한 네트워크 연결성 조건 하에서 수렴 속도를 이론적으로 경계하고 실증적으로 검증할 수 있는가?
• RQ5 분산 환경에서 최대 BB 단계 크기와 수렴 속도 사이의 관계는 어떠한가?

주요 결과

• DGM-BB-C는 일정한 수의 일치 단계 수를 유지함에도 불구하고 매끄럽고 강력 볼록 함수에 대해 정확한 최적 해로 기하 수렴을 달성한다.
• 기존 방법들인 EXTRA와 ATC-DIGing과는 달리, 단계 크기를 1/(2L) 또는 2μ/L² 이하로 제한할 필요 없이 더 큰 단계 크기를 허용한다.
• 수치 결과에 따르면, DGD, NEAR-DGD+, EXTRA, DIGing, ATC-DIGing보다 DGM-BB-C는 반복 횟수, 기울기 평가 수, 통신 횟수 모두 적게 소모한다.
• 연결성 확률이 0.1인 네트워크에서는 R=4일 때, 0.3일 땐 R=3일 때가 최적 성능을 보였으며, 이는 네트워크 구조에 적응 가능함을 시사한다.
• 계산된 스펙트럼 반경 ρ(G^α)는 약 0.871로 이론적 수렴 속도 추정치와 일치한다.
• 최대 BB 단계 크기 α_max는 1.836에 도달했으며, 이는 이론적 경계 내에 있었고, 적응형 단계 크기 규칙의 강건성과 실용성을 확인한다.