[논문 리뷰] The Blessing of Heterogeneity in Federated Q-Learning: Linear Speedup and Beyond

Jiin Woo, Gauri Joshi외 1명|arXiv (Cornell University)|2023. 05. 18.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 고도로 이질적인 국지적 행동 정책 조건에서도 표본 복잡도에서 강력한 선형 속도 향상을 달성하는 중요도 평균화를 통합한 새로운 피어드럴 Q-학습 알고리즘을 제안한다. 국지적 Q-추정치를 상태-행동 방문 빈도에 따라 가중치를 부여함으로써, 에이전트 간 균일한 커버리지가 필요 없어지며, 이는 '이질성의 복수'를 드러내고 이방형, 탈중앙화된 강화학습 환경에서 효율적인 협동 학습을 가능하게 한다.

ABSTRACT

When the data used for reinforcement learning (RL) are collected by multiple agents in a distributed manner, federated versions of RL algorithms allow collaborative learning without the need for agents to share their local data. In this paper, we consider federated Q-learning, which aims to learn an optimal Q-function by periodically aggregating local Q-estimates trained on local data alone. Focusing on infinite-horizon tabular Markov decision processes, we provide sample complexity guarantees for both the synchronous and asynchronous variants of federated Q-learning. In both cases, our bounds exhibit a linear speedup with respect to the number of agents and near-optimal dependencies on other salient problem parameters. In the asynchronous setting, existing analyses of federated Q-learning, which adopt an equally weighted averaging of local Q-estimates, require that every agent covers the entire state-action space. In contrast, our improved sample complexity scales inverse proportionally to the minimum entry of the average stationary state-action occupancy distribution of all agents, thus only requiring the agents to collectively cover the entire state-action space, unveiling the blessing of heterogeneity in enabling collaborative learning by relaxing the coverage requirement of the single-agent case. However, its sample complexity still suffers when the local trajectories are highly heterogeneous. In response, we propose a novel federated Q-learning algorithm with importance averaging, giving larger weights to more frequently visited state-action pairs, which achieves a robust linear speedup as if all trajectories are centrally processed, regardless of the heterogeneity of local behavior policies.

연구 동기 및 목표

• 모든 에이전트가 상태-행동 공간을 균일하게 커버해야 하는 기존 피어드럴 Q-학습 방법의 한계를 해결하기 위해.
• 이질적인 데이터 분포 하에서 동기 및 이방형 피어드럴 Q-학습의 표본 복잡도를 분석하기 위해.
• 국지적 정책의 이질성과 관계없이 선형 속도 향상을 유지할 수 있는 강력한 알고리즘을 개발하기 위해.
• '이질성의 복수'를 드러내기 위해 — 즉, 에이전트 데이터의 다양성이 학습 효율성을 저해하는 것이 아니라 향상시킨다는 점을 규명하기 위해.

제안 방법

• K개의 에이전트 간 국지적 Q-추정치를 주기적으로 평균화하는 피어드럴 Q-학습 프레임워크를 제안하며, 중앙 서버가 업데이트를 집계한다.
• 중요도 평균화를 도입하여, 국지적 Q-추정치를 에이전트 간 상태-행동 쌍의 방문 빈도에 따라 가중치를 적용한다.
• 표본 복잡도의 경계를 유도하며, 평균 정적 상태-행동 점유 분포의 최소 항목에 반비례하도록 한다.
• 집중 부등식과 마틴갈레 이론을 사용하여 동기 및 이방형 설정 모두에 이론적 보장을 수립한다.
• 수렴을 경계하기 위해 가치 함수의 차이와 전이 동역학을 포함하는 오차 항의 새로운 분해를 사용한다.
• 오차의 초기 수렴과 이후 감쇠를 다루는 두 단계 분석을 수행하며, 기하급수적 급수와 지수 감쇠 경계를 활용한다.

실험 결과

연구 질문

• RQ1 에이전트들이 이질적인 데이터 분포를 가질 경우, 피어드럴 Q-학습이 표본 복잡도에서 선형 속도 향상을 달성할 수 있는가?
• RQ2 기존 방법에서 상태-행동 공간 전체를 커버해야 하는 요구 조건이 확장성에 제약을 주는가, 그리고 이를 완화할 수 있는가?
• RQ3 중요도 평균화가 이방형 피어드럴 Q-학습 환경에서 국지적 정책의 이질성에 대한 강건성을 향상시킬 수 있는가?
• RQ4 이질적인 에이전트와 이방형 샘플링 조건 하에서 피어드럴 Q-학습의 이론적 표본 복잡도는 무엇인가?
• RQ5 '이질성의 복수'가 전체 표본 복잡도 감소에 어떻게 나타나는가?

주요 결과

• 제안된 중요도 평균화 방법은 국지적 정책의 이질성과 관계없이, 모든 궤적을 중앙에서 처리하는 것과 동일한 선형 속도 향상을 표본 복잡도에서 달성한다.
• 표본 복잡도는 평균 정적 상태-행동 점유 분포의 최소 항목에 반비례하며, 모든 에이전트가 전체 상태-행동 공간을 커버할 필요가 없어진다.
• 이방형 설정에서는 문제의 파라미터에 대한 의존성이 로그 인자 수준에서 최적화된 상태로 근사적으로 최적의 표본 복잡도를 달성한다.
• 이론적 분석 결과 오차는 상호작용 횟수에 따라 지수적으로 감소하며, 평균 방문 빈도에 따라 경계가 결정된다.
• 등가 평균화 기반 방법에 비해 국지적 정책의 이질성이 높은 상황에서 본 방법은 선형 속도 향상을 유지하며 우월한 성능을 보인다.
• 실험 결과는 중요도 평균화가 국지 궤적이 에이전트 간에 매우 비균일한 경우에도 선형 속도 향상을 유지함을 확인한다.