[논문 리뷰] Sample and Communication-Efficient Decentralized Actor-Critic Algorithms with Finite-Time Analysis

Ziyi Chen, Yi Zhou외 2명|arXiv (Cornell University)|2021. 09. 08.

Reinforcement Learning in Robotics참고 문헌 58인용 수 4

한 줄 요약

이 논문은 에이전트들이 로컬 정책 기울기의 미니배치 업데이트를 사용하고, 오직 노이즈가 섞인 보상만 공유함으로써 샘플 및 통신 효율성이 높은 분산형 액터-크리틱(AC) 및 자연 AC(NAC) 알고리즘을 제안한다. 마르코프 샘플링과 선형 함수 근사 하에서, AC의 경우 샘플 복잡도가 $\mathcal{O}(\epsilon^{-2}\ln\epsilon^{-1})$이며 NAC의 경우 $\mathcal{O}(\epsilon^{-3}\ln\epsilon^{-1})$에 도달하며, 통신 복잡도는 $\mathcal{O}(\epsilon^{-1}\ln\epsilon^{-1})$로 향상되었고, 로컬 행동과 정책을 공유하지 않음으로써 프라이버시를 유지한다.

ABSTRACT

Actor-critic (AC) algorithms have been widely adopted in decentralized multi-agent systems to learn the optimal joint control policy. However, existing decentralized AC algorithms either do not preserve the privacy of agents or are not sample and communication-efficient. In this work, we develop two decentralized AC and natural AC (NAC) algorithms that are private, and sample and communication-efficient. In both algorithms, agents share noisy information to preserve privacy and adopt mini-batch updates to improve sample and communication efficiency. Particularly for decentralized NAC, we develop a decentralized Markovian SGD algorithm with an adaptive mini-batch size to efficiently compute the natural policy gradient. Under Markovian sampling and linear function approximation, we prove the proposed decentralized AC and NAC algorithms achieve the state-of-the-art sample complexities $\mathcal{O}\big(ε^{-2}\ln(ε^{-1})\big)$ and $\mathcal{O}\big(ε^{-3}\ln(ε^{-1})\big)$, respectively, and the same small communication complexity $\mathcal{O}\big(ε^{-1}\ln(ε^{-1})\big)$. Numerical experiments demonstrate that the proposed algorithms achieve lower sample and communication complexities than the existing decentralized AC algorithm.

연구 동기 및 목표

• 로컬 행동과 정책을 공유하지 않으면서도 샘플 및 통신 효율성이 높은 분산형 액터-크리틱 알고리즘을 개발하는 것.
• 중앙집중식 피셔 정보 행렬의 역행렬 계산이 필요 없이 완전히 분산형이며 계산적으로 실현 가능한 자연 정책 기울기 계산 방법을 설계하는 것.
• 선형 함수 근사와 함께 마르코프 샘플링 하에서 유한 시간 수렴 보장을 확립하는 것.
• 기존의 분산형 AC 및 NAC 방법에 비해 향상된 샘플 및 통신 복잡도를 달성하는 것.

제안 방법

• 프라이버시를 보존하기 위해 원시 로컬 보상, 행동, 정책 대신 오직 노이즈가 섞인 보상만 공유한다.
• 샘플 및 통신 효율성을 향상시키기 위해 미니배치 업데이트를 사용해 로컬 정책 기울기를 계산한다.
• NAC 변종에서 효율적인 자연 정책 기울기 계산을 위해 적응형 미니배치 크기를 갖는 분산형 마르코프 스토하스틱 경사하강법(SGD) 알고리즘을 개발한다.
• 가치 함수와 정책에 대해 선형 함수 근사를 사용하여 마르코프 샘플링 하에서 이론적 분석이 가능하게 한다.
• 기대 정책 기울기 노름과 부적합도 갭의 엄밀한 분석을 통해 유한 시간 수렴을 확립한다.
• 중앙집중식 피셔 정보 행렬의 역행렬 계산을 피하기 위해 분산형이며 적응형 배치 크기 방법을 사용한다.

실험 결과

연구 질문

• RQ1 로컬 행동과 정책을 공유하지 않으면서도 샘플 및 통신 효율성이 높은 분산형 액터-크리틱 알고리즘을 설계할 수 있는가?
• RQ2 중앙집중식 피셔 행렬에 대한 액세스 없이도 자연 정책 기울기를 효율적으로 계산할 수 있는 완전히 분산형 자연 액터-크리틱 알고리즘을 개발할 수 있는가?
• RQ3 마르코프 샘플링과 선형 함수 근사 하에서 분산형 AC 및 NAC 알고리즘의 유한 시간 샘플 및 통신 복잡도는 무엇인가?
• RQ4 기존의 분산형 AC 및 NAC 방법에 비해 제안된 알고리즘은 수렴 속도와 복잡도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 분산형 AC 알고리즘은 $\mathbb{E}[\|\nabla J(\omega)\|^2] \leq \epsilon$를 달성하기 위해 샘플 복잡도 $\mathcal{O}(\epsilon^{-2}\ln\epsilon^{-1})$를 달성한다.
• 분산형 NAC 알고리즘은 $\mathbb{E}[J(\omega^*) - J(\omega)] \leq \epsilon$를 달성하기 위해 샘플 복잡도 $\mathcal{O}(\epsilon^{-3}\ln\epsilon^{-1})$를 달성한다.
• 두 알고리즘 모두 통신 복잡도 $\mathcal{O}(\epsilon^{-1}\ln\epsilon^{-1})$를 달성하여 기존 방법보다 향상되었다.
• 수치 실험 결과 제안된 알고리즘이 DAC-RP1 및 DAC-RP100과 같은 기존의 분산형 AC 알고리즘보다 더 빠르게 수렴하고 더 낮은 함수 값 갭을 달성한다.
• 성능 격차는 이전 방법에서의 정확하지 않은 평균화 대비 더 정확한 보상 추정과 낮은 TD 오차에 기인한다.
• 이론적 분석은 마르코프 샘플링과 선형 함수 근사 하에서 유한 시간 수렴을 확인하였으며, 정책 기울기와 부적합도에 대한 명시적 경계를 제공한다.