[논문 리뷰] Finite-Time Analysis of Distributed TD(0) with Linear Function Approximation for Multi-Agent Reinforcement Learning

Thinh T. Doan, Siva Theja Maguluri외 1명|arXiv (Cornell University)|2019. 02. 20.

Distributed Control Multi-Agent Systems인용 수 50

한 줄 요약

이 논문은 다중 에이전트 설정에서 선형 함수 근사화를 사용하는 분산 TD(0) 알고리즘을 분석하고, 시간에 따라 변화하는 통신 그래프에서 유한 시간 수렴 속도를 증명합니다. 네트워크 토폴로지 및 할인 인자에 의존하는 명시적 상한을 도출합니다.

ABSTRACT

We study the policy evaluation problem in multi-agent reinforcement learning. In this problem, a group of agents works cooperatively to evaluate the value function for the global discounted accumulative reward problem, which is composed of local rewards observed by the agents. Over a series of time steps, the agents act, get rewarded, update their local estimate of the value function, then communicate with their neighbors. The local update at each agent can be interpreted as a distributed consensus-based variant of the popular temporal difference learning algorithm TD(0). While distributed reinforcement learning algorithms have been presented in the literature, almost nothing is known about their convergence rate. Our main contribution is providing a finite-time analysis for the convergence of the distributed TD(0) algorithm. We do this when the communication network between the agents is time-varying in general. We obtain an explicit upper bound on the rate of convergence of this algorithm as a function of the network topology and the discount factor. Our results mirror what we would expect from using distributed stochastic gradient descent for solving convex optimization problems.

연구 동기 및 목표

• 에이전트가 지역 보상을 관찰하고 협력하여 전역 가치 함수를 추정하는 MARL(다중 에이전트 강화 학습) 설정에서 정책 평가를 동기화하는 동기를 제시한다.
• 선형 함수 근사화와 로컬 업데이트를 갖는 분산 컨센서스 기반 TD(0) 알고리즘을 제안한다.
• 시간에 따라 변하는 통신 그래프 하에서 분산 TD(0) 방법에 대한 유한 시간 수렴 속도를 제공한다.
• 수렴 속도를 네트워크 토폴로지, 할인 인자 및 단계 크기 선택과 연관지어 설명한다.
• 분산 TD(0)가 볼록 최적화에서의 분산 SGD와 유사하게 확장되는 방법을 이해하기 위한 기초를 마련한다.

제안 방법

• 각 에이전트가 이웃의 추정치를 평균화하는 컨센서스 단계가 있는 분산 TD(0) 업데이트를 형식화한다.
• d_v(k) = r_v(k) + gamma * tilde J(s'(k), theta_v) - tilde J(s(k), theta_v)로 선형 함수 근사화를 이용한 TD(0) 방향을 통합한다.
• 추정치를 경계 내에 유지하기 위해 볼록 집합 X로의 투영을 적용한다.
• 연결성 가정과 이중 확률 가중치를 가진 컨센서스 행렬 W(k)를 사용하는 행렬 형식 분석을 확립한다.
• 상수 학습률에서 O(1/k) 수렴과 감소 학습률에서 O(1/√k) 수렴을 보이는 유한 시간 경계 및 파라미터 추정 theta에 대한 유사한 결과를 도출한다.
• 에이전트별 근사 가치 함수에 대한 두 가지 주요 정리를 제공하고, theta로의 합의 평균 파라미터 벡터에 대한 수렴 속도를 제시한다.

실험 결과

연구 질문

• RQ1 분산 TD(0) 알고리즘에서 선형 함수 근사를 사용하는 MARL에서 어떤 유한 시간 수렴 보증을 확립할 수 있는가?
• RQ2 네트워크 토폴로지와 할인 인자가 분산 TD(0)의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 분산 TD(0) 방법이 볼록 최적화에서의 분산 SGD와 유사한 속도에 도달할 수 있는가?
• RQ4 이 설정에서 최적의 유한 시간 성능을 달성하는 데 단계 크기 스케줄이 어떤 역할을 하는가?

주요 결과

• 상수 학습률에서 분산 TD(0) 알고리즘은 최적 값의 이웃으로 수렴한다 O(1/k) 속도.
• 감소 학습률 1/√k로 가치 함수 추정에 대해 수렴 속도가 O(1/√k)로 개선된다.
• 수렴 속도는 할인 인자 (1−γ) 및 네트워크 스펙트럼 갭 (1−δ)에 명확하게 의존하여 연결성과 연결성에 성능이 좌우됨.
• Θ-v 추정치는 최소 고유값 σ_min과 A의 조건수에 의존하는 속도로 θ*로 수렴한다.
• 결과는 볼록 문제에 대한 분산 SGD의 직관과 일치하며, MARL 합의 기반 TD 학습에 대한 유한 시간 분석을 확장한다.
• 특정 단계 크기 규칙 하에서 평균 파라미터 벡터는 수축 인자에 따라 지수적 또는 부분 선형 수렴을 달성한다.