[논문 리뷰] Decentralized Gossip-Based Stochastic Bilevel Optimization over Communication Networks

Shuoguang Yang, Xuezhou Zhang외 1명|arXiv (Cornell University)|2022. 06. 22.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 이웃 간에만 통신하는 네트워크화된 에이전트를 위한 탈중앙화된 가소 기반 확률적 이중선형 최적화 알고리즘을 제안한다. 이는 단일 시스케일 내부 및 외부 최적화를 가능하게 한다. 비볼록 문제에 대해 최적의 $Ó(1/(K\epsilon^2))$ 샘플 복잡도와 강볼록 문제에 대해 $Ó(1/(K\epsilon))$를 달성하며, 네트워크 크기 $K$에 대해 선형 스피드업 스케일링을 보인다.

ABSTRACT

Bilevel optimization have gained growing interests, with numerous applications found in meta learning, minimax games, reinforcement learning, and nested composition optimization. This paper studies the problem of distributed bilevel optimization over a network where agents can only communicate with neighbors, including examples from multi-task, multi-agent learning and federated learning. In this paper, we propose a gossip-based distributed bilevel learning algorithm that allows networked agents to solve both the inner and outer optimization problems in a single timescale and share information via network propagation. We show that our algorithm enjoys the $\mathcal{O}(\frac{1}{K ε^2})$ per-agent sample complexity for general nonconvex bilevel optimization and $\mathcal{O}(\frac{1}{K ε})$ for strongly convex objective, achieving a speedup that scales linearly with the network size. The sample complexities are optimal in both $ε$ and $K$. We test our algorithm on the examples of hyperparameter tuning and decentralized reinforcement learning. Simulated experiments confirmed that our algorithm achieves the state-of-the-art training efficiency and test accuracy.

연구 동기 및 목표

• 다중 에이전트 및 피어드 학습 환경에서 탈중앙화된 확률적 이중선형 최적화를 위한 효율적인 알고리즘이 부족한 문제를 해결하기 위해.
• 중앙 집중적 조율 없이도 네트워크화된 에이전트가 이웃과의 국소적 통신만으로 이중선형 문제를 해결할 수 있도록 하기 위해.
• 네트워크 크기 $K$에 대해 수렴 속도에 대해 최적의 샘플 복잡도와 선형 스피드업을 달성하기 위해.
• 가소 기반 정보 교환을 통해 내부 및 외부 문제를 동시에 최적화하는 단일 시스케일 알고리즘을 개발하기 위해.

제안 방법

• 각 에이전트가 혼합 가중치를 사용해 이웃과 상태를 평균 내는 가소 기반 통신 프로토콜을 사용하여 네트워크 전역에 정보를 전파한다.
• 내부 수준($y$)과 외부 수준($x$) 최적화를 동시에 수행하는 단일 시스케일 업데이트 체계를 적용하며, 확률적 기울기를 사용한다.
• 일반적인 비볼록 및 강볼록 설정에서 수렴을 보장하기 위해 내부 및 외부 루프에 대해 적응형 스텝 사이즈를 도입한다.
• 국소 샘플링과 반복적 가소 업데이트를 활용하여 전역 동기화가 필요 없이 내부 문제 $y^*(x)$의 해를 추정한다.
• 일致성 유지에 위해 공감 평균화를 사용하는 탈중앙화된 확률적 기울기 하강 프레임워크를 적용한다.
• 분석에서는 이중 루프 구조를 사용하지만, 내부 업데이트를 외부 업데이트 이전에 순차적으로 수행함으로써 단일 루프 방식으로 구현한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 이중선형 최적화 알고리즘이 비볼록 설정에서 최적의 샘플 복잡도를 달성하면서 네트워크 크기에 대해 선형으로 스케일링할 수 있는가?
• RQ2 가소 기반 통신이 중앙 서버 없이도 에이전트 간 효과적인 정보 공유를 가능하게 하는가?
• RQ3 에이전트 수가 증가함에 따라 수렴 속도에 대해 선형 스피드업을 달성할 수 있는가?
• RQ4 초기화 조정 및 강화 학습과 같은 실용적 응용에서 알고리즘이 어떻게 성능을 발휘하는가?

주요 결과

• 일반적인 비볼록 이중선형 문제에 대해 에이전트당 샘플 복잡도가 $Ó(1/(K\\epsilon^2))$로, $\epsilon$와 $K$ 양쪽 모두에서 최적이다.
• 강볼록 목표 함수에 대해 샘플 복잡도는 $\u00d3(1/(K\epsilon))$이며, 이 역시 $\epsilon$와 $K$에 대해 최적이다.
• 시뮬레이션 실험 결과, 선형 스피드업이 나타남: 네트워크 크기 $K$가 증가함에 따라 $\epsilon$-최적성에 도달하기 위한 총 샘플 수는 거의 일정하게 유지된다.
• 초기화 조정 및 탈중앙화된 강화 학습 과제에서, 알고리즘은 훈련 효율성과 테스트 정확도 모두에서 베이스라인보다 뛰어나다.
• 로그 샘플 수 대 $K$의 75% 신뢰구간은 다양한 정확도 수준($\epsilon = 0.8\times10^{-6}, 1.5\times10^{-6}, 2\times10^{-6}$)에서 일관된 선형 스피드업을 보여준다.
• 이론적 분석은 수렴 속도가 $\frac{1}{T}\sum_{t=0}^{T-1}\|\nabla F(x_t)\|^2 = \u00d3(1/\sqrt{KT})$임을 확인한다.