[논문 리뷰] Asynchronous Actor-Critic for Multi-Agent Reinforcement Learning

Yuchen Xiao, Weihao Tan외 1명|arXiv (Cornell University)|2022. 09. 20.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 다중 에이전트 강화 학습을 위한 이방향 액터-크리틱 방법을 제안하여, 시간적으로 연장된(마크로) 동작을 통해 에이전트가 정책을 학습하고 실행할 수 있도록 하여 동기화된 정책 기울기 방법의 한계를 극복한다. 분산형, 중심집중형, CTDE 파라다임을 위한 Mac-IAC, Mac-CAC, Mac-IAICC를 도입하여 시뮬레이션과 창고 작업에서의 실제 로봇 구현에서 뛰어난 성능을 보였다.

ABSTRACT

Synchronizing decisions across multiple agents in realistic settings is problematic since it requires agents to wait for other agents to terminate and communicate about termination reliably. Ideally, agents should learn and execute asynchronously instead. Such asynchronous methods also allow temporally extended actions that can take different amounts of time based on the situation and action executed. Unfortunately, current policy gradient methods are not applicable in asynchronous settings, as they assume that agents synchronously reason about action selection at every time step. To allow asynchronous learning and decision-making, we formulate a set of asynchronous multi-agent actor-critic methods that allow agents to directly optimize asynchronous policies in three standard training paradigms: decentralized learning, centralized learning, and centralized training for decentralized execution. Empirical results (in simulation and hardware) in a variety of realistic domains demonstrate the superiority of our approaches in large multi-agent problems and validate the effectiveness of our algorithms for learning high-quality and asynchronous solutions.

연구 동기 및 목표

• 에이전트의 동작 지속 시간이 다를 수 있는 대규모 다중 에이전트 시스템에서 의사결정 동기화 문제를 해결한다.
• 실제 로봇 공학에서 흔한(예: 이동, 조작) 마크로 동작을 활용하여 이방향 정책의 효과적인 학습과 실행을 가능하게 한다.
• 매 시간 단위에서 기본 동작의 동기화 실행을 가정하는 기존 정책 기울기 방법의 한계를 극복한다.
• 분산형, 중심집중형, CTDE 학습 파라다임 전반에 걸쳐 마크로 동작 기반 다중 에이전트 액터-크리틱 학습을 위한 일반적 프레임워크를 체계화한다.
• 제안된 방법의 효과성을 시뮬레이션과 실제 하드웨어 구현 모두에서 입증하며, 특히 복잡한 시간적으로 연장된 과제에서 성능을 입증한다.

제안 방법

• 각 에이전트가 독립적으로 자신의 정책을 학습하는 완전히 분산된 학습을 위한 마크로 동작 기반 독립형 액터-크리틱(Mac-IAC) 방법을 제안한다.
• 학습 중 전체 상태 정보를 사용하여 개별 정책을 최적화하는 중심집중형 액터-크리틱(Mac-CAC) 방법을 도입한다.
• 중앙집중 정보를 활용해 각 에이전트별 별도의 크리틱을 학습하는 새로운 독립형 액터-개별 중심 크리틱(Mac-IAICC) 방법을 개발하여, 이방향 실행에서의 공동 및 개별 시각 간의 불일치 문제를 해결한다.
• Mac-IAICC의 CTDE(Centralized Training with Decentralized Execution) 변형을 제안하여 중심집중적 가치 추정을 통해 더 나은 정책 학습을 가능하게 한다.
• 단순한 접근 방식(Naive IACC)에서는 공동 마크로 동작가치 함수를 크리틱으로 사용하지만, 이후 개별 크리틱을 도입하여 이방향 실행 역학을 더 잘 반영하도록 개선한다.
• 다양한 지속 시간을 가진 동작을 갖는 협동 다중 에이전트 과제를 모델링하기 위해 마크로 동작 기반 분산 부분 관측 가능 마코프 결정 과정(MacDec-POMDP) 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 마크로 동작 기반 액터-크리틱 방법은 지속 시간이 다양할 수 있는 협동 다중 에이전트 환경에서 이방향 정책을 효과적으로 학습할 수 있는가?
• RQ2 공동 크리틱(Naive IACC)에 비해 개별 중심 크리틱(Mac-IAICC)을 사용할 경우, 마크로 동작 실행의 비정상성과 이방향성 문제를 어떻게 더 잘 다룰 수 있는가?
• RQ3 제안된 방법은 대규모이고 시간적으로 연장된 다중 에이전트 과제에서 기본 동작 기반 방법보다 얼마나 뛰어난 성능을 보이는가?
• RQ4 학습된 분산 정책은 복잡한 로봇 과제에서 실제 하드웨어 구현에 일반화되는가?
• RQ5 개별 크리틱을 갖는 CTDE 파라다임(Mac-IAICC)은 독립 학습이나 단순 중심집중 학습에 비해 분산 정책 성능을 더 높이는가?

주요 결과

• Mac-IAICC 방법은 Naive IACC와 Mac-IAC 모두를 상회하여 이방향 다중 에이전트 과제에서 고성능의 분산 정책을 학습하는 데에 뚜렷한 우위를 보였다.
• 제안된 방법들은 시뮬레이션 환경에서 상자 밀기, Overcooked 변형, 대규모 창고 서비스 도메인을 포함하여 시간적으로 연장된 동작을 갖는 정책을 성공적으로 학습하고 실행하였다.
• Mac-IAICC 정책의 실제 로봇 구현은 창고 도구 배달 과제에서 효율적이고 신뢰성 있는 작업 완료를 달성하여 실제 적용 가능성은 입증하였다.
• 기본 동작 기반 방법들은 동일한 이방향 환경에서 효과적인 정책을 학습하지 못하여, 마크로 동작 모델링의 필요성을 입증하였다.
• Mac-IAICC 방법은 장수행, 다변화된 지속 시간을 갖는 과제에서 베이스라인 대비 뛰어난 샘플 효율성과 최종 과제 성능을 달성하였다.
• Mac-IAICC에서 개별 중심 크리틱을 사용함으로써 이방향 공동 동작 실행으로 인한 분포 이탈 문제를 효과적으로 완화하여 정책 학습의 안정성과 성능을 향상시켰다.