[논문 리뷰] Distributed Online Optimization via Gradient Tracking with Adaptive Momentum.

Guido Carnevale, Francesco Farina외 2명|arXiv (Cornell University)|2020. 09. 03.

Distributed Control Multi-Agent Systems참고 문헌 47인용 수 6

한 줄 요약

이 논문은 강한 볼록성과 미세한 조건에서 선형 수렴를 달성하기 위해 기울기 추적과 적응형 동량 추정을 조합한 분산 온라인 최적화 알고리즘인 GTAdam을 제안한다. 평균 동적 위험의 유계성을 입증하고, 시간에 따라 변화하는 분류 및 목표 위치 설정과 같은 다중 에이전트 학습 과제에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

This paper deals with a network of computing agents aiming to solve an online optimization problem in a distributed fashion, i.e., by means of local computation and communication, without any central coordinator. We propose the gradient tracking with adaptive momentum estimation (GTAdam) distributed algorithm, which combines a gradient tracking mechanism with first and second order momentum estimates of the gradient. The algorithm is analyzed in the online setting for strongly convex and smooth cost functions. We prove that the average dynamic regret is bounded and that the convergence rate is linear. The algorithm is tested on a time-varying classification problem, on a (moving) target localization problem and in a stochastic optimization setup from image classification. In these numerical experiments from multi-agent learning, GTAdam outperforms state-of-the-art distributed optimization methods.

연구 동기 및 목표

• 중앙 조정자가 없는 네트워크에서의 분산 온라인 최적화 문제에 대응하기 위해.
• 시간에 따라 변화하는 비용 함수를 가진 동적 환경에서 수렴성과 적응성 향상을 위해.
• 더 나은 성능을 위해 기울기 추적과 적응형 동량을 조합한 방법을 설계하기 위해.
• 강한 볼록성과 미세한 문제에서 평균 동적 위험의 유계성과 함께 선형 수렴 속도를 달성하기 위해.

제안 방법

• GTAdam 알고리즘은 에이전트 간 국소 정보 교환을 통해 전역 기울기를 추정하기 위해 기울기 추적을 통합한다.
• 에이전트 간 국소 설정에서 기울기의 일阶 및 이阶 모멘텀을 추정함으로써 적응형 동량을 구현한다. 이는 Adam과 유사하지만 분산 환경에서 적용된다.
• 각 에이전트는 국소로 기울기와 그 동량을 추정하며, 국소 통신과 계산을 통해 업데이트한다.
• 알고리즘은 네트워크 전반의 평균 기울기를 추적하기 위해 공약 기반 메커니즘을 사용하여 전역 최적화 목표와 일치시키며.
• 비용 함수가 시간에 따라 변화하는 온라인 설정을 위해 설계되어 실시간 적응이 가능하다.

실험 결과

연구 질문

• RQ1 기울기 추적과 적응형 동량을 조합하면 분산 온라인 최적화에서 선형 수렴를 달성할 수 있는가?
• RQ2 시간에 따라 변화하는 환경에서 GTAdam은 최신 기술의 분산 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ3 강한 볼록성과 미세한 비용 함수 조건 하에서 GTAdam의 동적 위험 한계는 무엇인가?
• RQ4 GTAdam은 이동하는 목표 추적 및 이미지 분류와 같은 온라인 학습 과제를 효과적으로 처리할 수 있는가?

주요 결과

• GTAdam은 강한 볼록성과 미세한 온라인 최적화 문제에서 평균 동적 위험의 선형 수렴 속도를 달성한다.
• GTAdam의 평균 동적 위험는 유계이므로 시간이 지남에 따라 안정적이고 예측 가능한 성능을 보인다.
• 시간에 따라 변화하는 분류 과제에서 GTAdam은 수렴 속도와 정확도 면에서 기존의 분산 최적화 방법을 능가한다.
• 이동하는 목표 추적 과제에서 GTAdam은 기준 알고리즘 대비 뛰어난 추적 성능을 보였다.
• 스토케스틱 이미지 분류 설정에서 GTAdam은 최신 기술의 분산 방법보다 더 나은 일반화 성능과 더 빠른 수렴 속도를 보였다.