[논문 리뷰] Primal-Dual Distributed Temporal Difference Learning

Donghwan Lee, Jianghai Hu|arXiv (Cornell University)|2018. 05. 21.

Distributed Control Multi-Agent Systems참고 문헌 47인용 수 7

한 줄 요약

이 논문은 다중 에이전트 마르코프 결정 과정에서 분산 원-이중 시간 차분 학습 알고리즘(DGTD)을 제안한다. 이 알고리즘은 에이전트들이 국소적 보상과 무작위 네트워크 통신만을 사용하여 전역 가치 함수를 공동으로 추정할 수 있도록 한다. 방법은 라그랑주 이중화를 통한 사다리꼴 재구성 방식을 통해 정책 평가 문제를 분산 최적화 문제로 재구성하며, 스토하스틱이고 시간에 따라 변하는 통신 그래프 조건 하에서 유한 시간 수렴성과 입증된 수렴 속도 및 샘플 복잡도를 달성한다.

ABSTRACT

The goal of this paper is to study a distributed version of the gradient temporal-difference (GTD) learning algorithm for a class of multi-agent Markov decision processes (MDPs). The temporal-difference (TD) learning is a reinforcement learning (RL) algorithm that learns an infinite horizon discounted cost function (or value function) for a given fixed policy without the model knowledge. In the multi-agent MDP each agent receives a local reward through a local processing. The agents communicate over sparse and random networks to learn the global value function corresponding to the aggregate of local rewards. In this paper, the problem of estimating the global value function is converted into a constrained convex optimization problem. Then, we propose a stochastic primal-dual distributed algorithm to solve it and prove that the algorithm converges to a set of solutions of the optimization problem.

연구 동기 및 목표

• 에이전트들이 국소적 보상과 부분적인 통신만을 사용하여 전역 가치 함수를 추정할 수 있도록 하는 분산 강화학습 알고리즘을 개발하는 것.
• 각 에이전트가 자신의 국소적 보상만 관찰하는 다중 에이전트 시스템에서의 정보 제한 문제를 해결하는 것.
• 단일 에이전트 GTD 학습을 분산형, 무작위 통신 토포로지가 적용된 다중 에이전트 환경으로 일반화하는 것.
• 제안된 분산 알고리즘에 대해 수렴 보장, 수렴 속도 및 샘플 복잡도를 포함한 엄밀한 분석을 제공하는 것.
• 추가 제약 조건과 목표를 지원할 수 있는 통합된 사다리꼴 프레임워크를 통해 분산 정책 평가를 가능하게 하는 것.

제안 방법

• 공유 파라미터에 대한 등식 제약 조건을 포함한 다중 에이전트 정책 평가 문제를 분산 최적화 문제로 재구성한다.
• 공동 합의 제약 조건을 표현하기 위해 그래프 라플라시안을 사용한 라그랑주 이중화를 통해 제약 최적화 문제를 사다리꼴 문제로 변환한다.
• 스토하스틱 원-이중 알고리즘을 적용하여 사다리꼴 문제를 해결함으로써, 무작위이고 시간에 따라 변하는 통신 그래프를 가진 분산 학습을 가능하게 한다.
• 스토하스틱 환경에서 수렴을 보장하기 위해 $\alpha_k = 10 / \sqrt{k + 100}$ 형태의 단계 크기 규칙을 사용한다.
• 특징 표현(예: 반경 기반 함수 또는 표기법)을 활용하여 다수의 에이전트 간 전역 가치 함수를 근사한다.
• 에이전트들이 이웃 에이전트와만 학습 파rameter를 교환함으로써 국소적 시스템 뷰를 유지하는 방식으로 무작위 네트워크 통신을 통합한다.

실험 결과

연구 질문

• RQ1 에이전트들이 국소적 보상을만 관찰하고 무작위로 시간에 따라 변하는 네트워크를 통해 통신할 때, 분산 TD 학습 알고리즘이 올바른 전역 가치 함수로 수렴할 수 있는가?
• RQ2 이러한 다중 에이전트, 비정책 기반 설정에서 스토하스틱 원-이중 알고리즘의 수렴 속도와 샘플 복잡도는 어떤가?
• RQ3 제안된 원-이중 프레임워크는 분산 정책 평가에서 공통 합의 기반 대안 대비 수렴성과 유연성 측면에서 어떻게 비교되는가?
• RQ4 사다리꼴 재구성 방식은 다중 에이전트 가치 함수 학습에서 스파arsity나 엔트로피 정규화와 같은 추가 목표를 지원할 수 있는가?
• RQ5 무작위 통신 그래프 구조가 분산 TD 학습의 안정성과 수렴성에 어떤 영향을 미치는가?

주요 결과

• 제안된 DGTD 알고리즘은 무작위로, 무방향이며 시간에 따라 변하는 통신 그래프를 가정할 때 전역 가치 함수로의 유한 시간 수렴성을 달성한다.
• 알고리즘은 수렴 속도 및 샘플 복잡도가 엄밀하게 분석되고 확립되어 있으며, 다중 에이전트 비정책 TD 학습 분야에서 기존 문헌의 빈도를 메운다.
• 시뮬레이션 결과에 따르면 다섯 명의 에이전트가 가치 함수 파라미터에서 일치를 이룩하며, 부분적인 국소적 보상만을 받는 상황에서도 일관된 추정치로 수렴함을 보였다.
• 세 대의 로봇이 참여하는 연속 공간 시나리오에서는, 완전한 감지 없이도 간헐적인 통신 조건에서도 세 개의 구분 가능한 위험 영역을 식별하는 공유 가치 함수를 성공적으로 추정하였다.
• 에이전트 간 가치 함수 추정치는 일관되며, 난기류 영역이나 적군 위치와 같은 관심 지점의 공동 탐지에 기여한다.
• 알고리즘은 행동 정책가 목표 정책와 다를 수 있는 비정책 설정을 효과적으로 처리하며, 사다리꼴 프레임워크를 통해 다양한 목적 함수를 지원할 수 있다.