[논문 리뷰] Federated Temporal Difference Learning with Linear Function Approximation under Environmental Heterogeneity

Han Wang, Aritra Mitra외 3명|arXiv (Cornell University)|2023. 02. 04.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 환경의 이질성 하에서 비동일한 MDP와 상호작용하는 에이전트들 사이에서 선형 함수 근사와 함께 정책 평가를 위한 분산 시간 차분 학습 알고리즘인 FedTD(0)을 제안한다. 낮은 이질성 영역에서는 에이전트 수에 비례하는 선형 수렴 속도 향상을 보이는 최초의 유한시간 분석을 수립하며, TD 고정점에 대한 변동성 한계와 분산 최적화에 연결하기 위해 가상의 MDP를 도입한다.

ABSTRACT

We initiate the study of federated reinforcement learning under environmental heterogeneity by considering a policy evaluation problem. Our setup involves $N$ agents interacting with environments that share the same state and action space but differ in their reward functions and state transition kernels. Assuming agents can communicate via a central server, we ask: Does exchanging information expedite the process of evaluating a common policy? To answer this question, we provide the first comprehensive finite-time analysis of a federated temporal difference (TD) learning algorithm with linear function approximation, while accounting for Markovian sampling, heterogeneity in the agents' environments, and multiple local updates to save communication. Our analysis crucially relies on several novel ingredients: (i) deriving perturbation bounds on TD fixed points as a function of the heterogeneity in the agents' underlying Markov decision processes (MDPs); (ii) introducing a virtual MDP to closely approximate the dynamics of the federated TD algorithm; and (iii) using the virtual MDP to make explicit connections to federated optimization. Putting these pieces together, we rigorously prove that in a low-heterogeneity regime, exchanging model estimates leads to linear convergence speedups in the number of agents.

연구 동기 및 목표

• 서로 다른 MDP와 상호작용하는 에이전트들 사이에서 동일한 상태 및 행동 공간을 공유하지만 보상 함수와 전이 커널이 다를 수 있는 환경 이질성 하에서 분산 강화 학습을 연구한다.
• 중앙 서버를 통한 모델 공유가 이러한 이질적 환경에서 정책 평가를 가속화하는가를 밝히는 것.
• 마르코프 샘플링, 국소 업데이트, 환경 이질성을 고려한 FedTD(0)의 유한시간 수렴 분석을 제공하는 것.
• 새로운 변동성 한계와 가상의 MDP 추상화를 통해 수렴 속도 향상에 대한 이론적 보장을 수립하는 것.

제안 방법

• 전이 커널과 보상 함수의 MDP 이질성에 따라 TD(0) 고정점에 대한 변동성 한계를 유도한다.
• 분산 TD(0) 알고리즘의 동역학을 근사하고 분산 최적화 프레임워크와 연결하기 위해 가상의 MDP를 도입한다.
• 주기적인 국소 모델 업데이트 집계를 위해 중앙 서버를 사용하여 통신 효율성과 데이터 프라이버시를 유지한다.
• 가치 함수 추정을 위해 선형 함수 근사를 사용하고, 마르코프 샘플링 및 다중 국소 업데이트 하에서 수렴성을 분석한다.
• 감소하는 스텝 사이즈를 사용하는 확률적 근사 기법을 적용하고, 농도 불등식을 통해 오차 항을 분석한다.
• 오차를 근사 오차, 최적화 오차, 샘플링 오차로 분해하여 수렴 한계를 확립하며, 최종 오차 한계는 에이전트 수와 이질성에 명시적인 의존성을 가진다.

실험 결과

연구 질문

• RQ1 서로 다른 MDP를 가진 에이전트들 간의 모델 추정 공유가 독립 학습 대비 정책 평가에서 더 빠른 수렴을 이끌어내는가?
• RQ2 다른 전이 커널과 보상 함수를 가진 환경 이질성이 분산 환경에서 TD(0)의 고정점에 어떤 영향을 미치는가?
• RQ3 낮은 이질성 조건 하에서 다중 국소 업데이트를 가진 분산 TD(0) 알고리즘이 에이전트 수 증가에 따라 선형 수렴 속도 향상을 달성할 수 있는가?
• RQ4 마르코프 샘플링과 통신 제약 조건 하에서 분산 TD(0)의 유한시간 수렴 행동은 어떠한가?
• RQ5 가상의 MDP를 통해 분산 TD(0)의 동역학을 분석하여 분산 최적화 이론과 연결할 수 있는가?

주요 결과

• 낮은 이질성 영역에서는 에이전트 수 N에 비례하는 선형 수렴 속도 향상을 달성하며, 오차는 O(1/N)로 감소한다.
• 수렴 속도는 반복 횟수 T에 대해 O(1/T²)로 제한되며, 국소 스텝 수 K와 에이전트 수 N에 명시적인 의존성을 가진다.
• 주요 오차 항은 O(1/(ν²NKT))로 스케일되며, 여기서 ν는 조건 수 파라미터이다. 이는 더 많은 에이전트와 국소 업데이트가 오차를 감소시킴을 보여준다.
• 분석을 통해 개별 에이전트의 최적 가치 함수가 전역 평균으로부터 벗어나지 않는 것을 보장하며, 이는 N에 따라 감소하는 항으로 제한된다.
• TD 고정점에 대한 변동성 한계는 MDP 이질성이 수렴 목표에 어떤 영향을 미치는지를 정량화하며, 오차 전파에 대한 이론적 통제를 가능하게 한다.
• 수치적 결과는 i.i.d. 및 마르코프 샘플링 설정 모두에서 N 증가에 따라 수렴과 오차 감소를 확인하며, 이론적 속도 향상 결과를 검증한다.