[논문 리뷰] Local Stochastic Approximation: A Unified View of Federated Learning and Distributed Multi-Task Reinforcement Learning Algorithms

Thinh T. Doan|arXiv (Cornell University)|2020. 06. 24.

Reinforcement Learning in Robotics참고 문헌 37인용 수 6

한 줄 요약

이 논문은 분산 다중 에이전트 시스템에서 의존적인 마르코프 데이터로부터 학습하는 국소적 확률적 근사(LSA)를 위한 통합 이론적 프레임워크를 제안한다. 이는 유한 시간 수렴 속도를 독립적 동일분포(i.i.d.) 설정과 로그 인자 범위 내에서 확보함으로써, 현실적인 의존적 데이터 가정 하에 피에르페르티드 학습과 다중 작업 강화학습의 성능 한계를 가능하게 한다.

ABSTRACT

Motivated by broad applications in reinforcement learning and federated learning, we study local stochastic approximation over a network of agents, where their goal is to find the root of an operator composed of the local operators at the agents. Our focus is to characterize the finite-time performance of this method when the data at each agent are generated from Markov processes, and hence they are dependent. In particular, we provide the convergence rates of local stochastic approximation for both constant and time-varying step sizes. Our results show that these rates are within a logarithmic factor of the ones under independent data. We then illustrate the applications of these results to different interesting problems in multi-task reinforcement learning and federated learning.

연구 동기 및 목표

• 에이전트가 독립적 동일분포(i.i.d.)가 아닌 의존적인 마르코프 과정으로부터 데이터를 수신할 때 국소적 확률적 근사(LSA)의 유한 시간 수렴을 분석하는 것.
• 동일한 LSA 프레임워크 하에서 피에르페르티드 학습과 분산 다중 작업 강화학습의 이론적 분석을 통합하는 것.
• 이전 연구가 주로 i.i.d. 표본을 가정하는 바에 비해, 의존적 데이터 하에서 LSA 성능에 대한 이해 격차를 메우는 것.
• 마르코프 노이즈 존재 하에서 일정 및 시간에 따라 변하는 스텝 사이즈에 대해 명시적인 수렴 속도를 유도하는 것.
• 기본 가정 하에서 i.i.d. 데이터 설정에서 달성 가능한 것과 비슷한 로그 인자 범위 내의 유한 시간 성능 경계를 제공하는 것.

제안 방법

• 각 $ F_i $ 가 국소적 확률적 연산자의 기대값인 복합 연산자 $ F(\theta^*) = \sum_{i=1}^N F_i(\theta^*) = 0 $ 의 근을 찾는 것으로 분산 학습 문제를 수식화한다.
• 각 에이전트의 데이터를 에르고딕 마르코프 과정으로 모델링하여 실세계 응용 분야(예: 강화학습 및 피에르페르티드 학습)에서의 시간적 의존성을 포괄한다.
• 중앙 집중식 조율자와의 융합 이전에 각 에이전트가 자체 데이터를 사용해 다수의 국소 스텝을 수행하는 국소 업데이트 방식을 적용한다.
• 시간에 따라 변하는 스텝 사이즈 $ \alpha_k $ 를 사용하고, 반복값의 평균 제곱 오차 감쇠 속도를 진단한다.
• 리프시츠 연속성, 유계성, 연산자 자코비안의 음의 정부호성 등의 표준 확률적 근사 이론 가정을 적용한다.
• 마르코프 노이즈를 다루기 위해 르아프노프 함수 접근법과 마르팅게일 차분 분해를 사용하여 수렴 경계를 도출한다.

실험 결과

연구 질문

• RQ1 각 에이전트의 데이터가 마르코프 과정으로부터 생성될 때 국소적 확률적 근사(LSA)의 유한 시간 수렴 속도는 어떻게 되는가?
• RQ2 마르코프 데이터 하에서 LSA의 수렴 속도는 i.i.d. 데이터 하에서의 수렴 속도와 어떻게 비교되는가?
• RQ3 국소적 확률적 근사 이론 프레임워크는 피에르페르티드 학습과 다중 작업 강화학습 간에 통합될 수 있는가?
• RQ4 의존적 데이터 하에서 선형 함수 근사와 함께 분산 Q-학습의 성능 경계는 무엇인가?
• RQ5 국소적 확률적 근사 알고리즘이 i.i.d. 케이스와 비슷한 속도로 수렴하기 위한 조건은 무엇인가?

주요 결과

• 마르코프 데이터 하에서 국소적 확률적 근사(LSA)의 유한 시간 수렴 속도는 i.i.d. 데이터 설정에서 달성 가능한 속도와 로그 인자 범위 내에 있다.
• 일정 및 시간에 따라 변하는 스텝 사이즈 모두에서 평균 제곱 오차가 i.i.d. 설정의 이론적 경계와 로그 인자 범위 내에서 동일한 속도로 감쇠한다.
• 이러한 수렴 결과는 클라이언트가 모델 융합 이전에 국소 업데이트를 수행하는 피에르페르티드 학습에 적용 가능하며, 현실적인 데이터 의존성 조건을 충족한다.
• 이 프레임워크는 분산 TD(λ) 및 선형 함수 근사와 함께 Q-학습과 같은 다중 작업 강화학습 알고리즘의 분석을 통합한다.
• 선형 함수 근사와 함께 분산 Q-학습에 대한 유한 시간 성능 경계가 유도되었으며, 마르코프 샘플링 하에서도 수렴함을 보여준다.
• 기본 가정(유계 보상, 전위수행 특성 행렬, 기약성 및 비주기성 마르코프 체인) 하에서 수렴 조건이 충족되고 이론적 경계가 적용 가능하다.