[논문 리뷰] Fast Multi-Agent Temporal-Difference Learning via Homotopy Stochastic Primal-Dual Optimization

Dong-Sheng Ding, Xiaohan Wei외 3명|arXiv (Cornell University)|2019. 08. 07.

Reinforcement Learning in Robotics참고 문헌 64인용 수 12

한 줄 요약

이 논문은 다중 에이전트 강화 학습을 위한 새로운 분산 시간차 학습 알고리즘을 제안하며, 호모토피 기반 학습률 적응과 확률적 원-대안 최적화 프레임워크를 결합한다. 인과적 온정책 샘플링을 활용하고 마르코프 연속 데이터를 고려함으로써, $O(1/T)$의 향상된 유한시간 오차 경계를 달성하여 이전에 알려진 $O(1/\sqrt{T})$ 속도를 능가한다.

ABSTRACT

We study the policy evaluation problem in multi-agent reinforcement learning where a group of agents, with jointly observed states and private local actions and rewards, collaborate to learn the value function of a given policy via local computation and communication over a connected undirected network. This problem arises in various large-scale multi-agent systems, including power grids, intelligent transportation systems, wireless sensor networks, and multi-agent robotics. When the dimension of state-action space is large, the temporal-difference learning with linear function approximation is widely used. In this paper, we develop a new distributed temporal-difference learning algorithm and quantify its finite-time performance. Our algorithm combines a distributed stochastic primal-dual method with a homotopy-based approach to adaptively adjust the learning rate in order to minimize the mean-square projected Bellman error by taking fresh online samples from a causal on-policy trajectory. We explicitly take into account the Markovian nature of sampling and improve the best-known finite-time error bound from $O(1/\sqrt{T})$ to~$O(1/T)$, where $T$ is the total number of iterations.

연구 동기 및 목표

• 에이전트들이 공동 상태를 공유하지만 각각의 행동과 보상은 비공개인 대규모 다중 에이전트 시스템에서 정책 평가 문제를 해결하기 위해.
• 연결된 무방향 네트워크에서 국소적 계산과 통신을 가능하게 하는 분산 시간차 학습 알고리즘을 개발하기 위해.
• 마르코프 연속 샘플링 하에서 기존의 $O(1/\sqrt{T})$ 경계를 초월하여 분산 TD 학습의 유한시간 수렴 속도를 향상시키기 위해.
• 온라인 온정책 샘플을 사용하여 평균 제곱 프로젝션 벨만 오차를 최소화하는 데 목적이 있는 호모토피 방법을 통한 적응형 학습률 스케줄링을 통합하기 위해.

제안 방법

• 에이전트 네트워크 상에서 확률적 사鞍점 문제로 분산 정책 평가 문제를 수립한다.
• 국소 업데이트를 사용하여 가치 함수 파라미터와 이중 변수를 동시에 최적화하는 분산 확률적 원-대안 알고리즘을 도입한다.
• 진행 중인 추정 오차와 샘플링 동역학에 따라 학습률을 동적으로 조정하기 위해 호모토피 기반 접근법을 활용한다.
• 학습 중 온정책 경로의 시간적 의존성을 반영하기 위해 마르코프 연속 샘플링 모델을 통합한다.
• 비 i.i.d. 데이터 하에서도 안정성과 수렴성을 보장하기 위해 투영 기반 업데이트 규칙을 사용한다.
• 통신 및 에이전트 간 평균화를 모델링하기 위해 가중치 행렬 $W$를 활용하여 네트워크 혼합 성질을 활용한다.

실험 결과

연구 질문

• RQ1 분산 TD 학습 알고리즘이 다중 에이전트 시스템에서 기존 방법보다 더 빠른 유한시간 수렴을 달성할 수 있는가?
• RQ2 샘플링이 마르코프 연속이고 데이터가 분산되어 있을 때, 적응형 학습률 스케줄링은 수렴에 어떻게 기여하는가?
• RQ3 분산적이고 온정책 설정에서 평균 제곱 프로젝션 벨만 오차를 $O(1/T)$ 수렴 속도로 최소화할 수 있는가?
• RQ4 네트워크 토폴로지와 통신 구조는 분산 TD 학습의 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 마르코프 연속 샘플링 하에서 기존의 최고 수준의 $O(1/\sqrt{T})$ 경계를 초월하여 $O(1/T)$의 유한시간 오차 경계를 달성한다.
• 호모토피 기반 학습률 적응은 변화하는 최적화 환경에 동적으로 반응함으로써 추정 오차를 효과적으로 감소시킨다.
• 데이터의 마르코프 성질을 명시적으로 모델링함으로써, 비 i.i.d. 온정책 샘플링 하에서도 안정성과 수렴성을 유지한다.
• 이론적 분석을 통해 알고리즘이 $O(1/T)$ 속도로 최적해로 수렴함을 확인하였으며, 이는 중심화된 설정에서 알려진 최고 수준의 경계와 일치한다.
• 통신 행렬 $W$가 이중 확률적이고 네트워크가 연결되어 있는 한, 수렴은 네트워크 토폴로지에 대해 강건하다.