[논문 리뷰] Finite-Time Performance of Distributed Temporal Difference Learning with Linear Function Approximation

Thinh T. Doan, Siva Theja Maguluri외 1명|arXiv (Cornell University)|2019. 07. 25.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 다중 에이전트 강화 학습에서 선형 함수 근사와 함께 분산 시간 차이 학습의 유한 시간 분석을 제시한다. 여기서 에이전트들은 국소 업데이트와 이웃 간의 통신을 통해 가치 함수를 공동으로 추정한다. 주요 기여는 네트워크 구조, 할인 인자, $\lambda$ 및 기하학적 혼합 시간 $\tau$에 따라 달라지는 수렴 속도의 경계를 제시하는 것으로, $\lambda$에 의해 결정되는 근사 정확도와 수렴 속도 사이의 상충 관계를 드러낸다.

ABSTRACT

We study the policy evaluation problem in multi-agent reinforcement learning, modeled by a Markov decision process. In this problem, the agents operate in a common environment under a fixed control policy, working together to discover the value (global discounted accumulative reward) associated with each environmental state. Over a series of time steps, the agents act, get rewarded, update their local estimate of the value function, then communicate with their neighbors. The local update at each agent can be interpreted as a distributed variant of the popular temporal difference learning methods {\\sf TD}$ (\\lambda)$. Our main contribution is to provide a finite-analysis on the performance of this distributed {\\sf TD}$(\\lambda)$ algorithm for both constant and time-varying step sizes. The key idea in our analysis is to use the geometric mixing time $\ au$ of the underlying Markov chain, that is, although the "noise" in our algorithm is Markovian, its dependence is very weak at samples spaced out at every $\ au$. We provide an explicit upper bound on the convergence rate of the proposed method as a function of the network topology, the discount factor, the constant $\\lambda$, and the mixing time $\ au$. Our results also provide a mathematical explanation for observations that have appeared previously in the literature about the choice of $\\lambda$. Our upper bound illustrates the trade-off between approximation accuracy and convergence speed implicit in the choice of $\\lambda$. When $\\lambda=1$, the solution will correspond to the best possible approximation of the value function, while choosing $\\lambda = 0$ leads to faster convergence when the noise in the algorithm has large variance.

연구 동기 및 목표

• 다중 에이전트 시스템에서 마르코프 노이즈를 동반한 분산 시간 차이 학습에 대한 유한 시간 성능 보장을 부족한 문제를 해결한다.
• 특히 유인성 추적 파라미터 $\lambda$의 영향을 중심으로 선형 함수 근사 하에서 분산 TD($\lambda$)의 수렴 행동을 분석한다.
• 네트워크 구조와 기하학적 혼합 시간 $\tau$를 고려한 추정 오차에 대한 엄밀한 유한 시간 상한을 제공한다.
• 고분산 노이즈 하에서 $\lambda=1$이 가장 높은 근사 정확도를 제공하고 $\lambda=0$이 더 빠른 수렴을 가능하게 하는 경험적 관찰을 설명한다.
• 이전의 i.i.d. 노이즈에 대한 연구를 더 현실적인 의존성 있는 마르코프 노이즈를 고려한 분산 다중 에이전트 강화 학습 환경으로 일반화한다.

제안 방법

• 공유 환경과 국소 보상이 있는 다중 에이전트 마르코프 결정 과정에서 정책 평가 문제를 수립한다.
• 각 에이전트가 국소 가치 함수 추정치를 유지하고 이웃과의 통신을 통해 국소 보상과 함께 이를 업데이트하는 분산 TD($\lambda$)의 변형을 설계한다.
• 마르코프 노이즈의 시간에 따른 약한 의존성을 측정하기 위해 기하학적 혼합 시간 $\tau$를 도입하여 종속 샘플을 분리할 수 있도록 한다.
• 마르코프 노이즈의 상관관계를 제어하기 위해 혼합 시간을 활용한 마틴게일 기반 분석을 적용하여 추정 오차의 조건부 기대값을 경계한다.
• 기하학적 혼합 시간 $\tau$, 할인 인자 $\gamma$, $\lambda$, 스텝 사이즈 파rameter를 함수로 하는 기대 제곱 오차 $\mathbb{E}[\|\bar{\theta}_k - \theta^*\|^2]$에 대한 유한 시간 상한을 유도한다.
• 재귀 부등식과 모멘트 경계를 사용하여 추정 오차의 성장을 제어하며, 근사 오차와 샘플링 노이즈의 영향을 통합한다.

실험 결과

연구 질문

• RQ1 선형 함수 근사 하에서 분산 TD($\lambda$)에서 $\lambda$의 선택이 근사 정확도와 수렴 속도 사이의 상충 관계에 어떻게 영향을 미치는가?
• RQ2 노이즈가 i.i.d. 가 아닌 마르코프 노이즈일 경우 분산 TD($\lambda$)의 유한 시간 수렴 속도는 어떻게 되는가?
• RQ3 네트워크 구조와 기하학적 혼합 시간 $\tau$는 분산 알고리즘의 수렴 성능에 어떻게 영향을 미치는가?
• RQ4 기하학적 혼합 시간 $\tau$는 강화 학습 알고리즘에서 종속 노이즈를 분석하는 데 어떤 방식으로 기여하는가?
• RQ5 할인 인자 $\gamma$, $\lambda$, 네트워크 구조를 명시적으로 고려한 분산 TD($\lambda$)에 대한 유한 시간 성능 상한을 유도할 수 있는가?

주요 결과

• 제안된 분산 TD($\lambda$) 알고리즘은 기하학적 혼합 시간 $\tau$, 할인 인자 $\gamma$, 유인성 추적 파라미터 $\lambda$에 따라 명시적으로 달라지는 유한 시간 수렴을 달성한다.
• 기대 제곱 오차 $\mathbb{E}[\|\bar{\theta}_k - \theta^*\|^2]$에 대한 유한 시간 상한이 도출되었으며, 이는 $\tau$, $\alpha_k$, $\gamma$, $\lambda$ 및 시스템 파라미터에 의존함을 보여준다.
• $\lambda = 1$일 경우 알고리즘이 진짜 가치 함수에 대해 가장 우수한 근사로 수렴하여 근사 오차를 최소화한다.
• $\lambda = 0$일 경우 고분산 노이즈 하에서 더 빠른 수렴을 보이며, 이는 $\lambda=0$이 빠른 수렴을 가능하게 한다는 경험적 관찰을 확인한다.
• 수렴 속도 상한은 오차가 $\mathcal{O}(\tau \alpha_k)$로 감소함을 보여주며, 이 상한은 $\frac{(1+\gamma)^2}{(1-\gamma\lambda)^2}$ 비례로 증가함을 나타내어 $\lambda$와 $\gamma$에 민감함을 강조한다.
• 분석은 경험적으로 $\lambda=1$을 정확도 향상을 위해, $\lambda=0$을 빠른 수렴을 위해 사용하는 것의 수학적 근거를 엄밀히 제시하며, 분산 다중 에이전트 강화 학습에서 이러한 설계 선택의 기초를 제공한다.