[논문 리뷰] Reward Machines for Cooperative Multi-Agent Reinforcement Learning

Cyrus Neary, Zhe Xu외 2명|arXiv (Cornell University)|2020. 07. 03.

Reinforcement Learning in Robotics참고 문헌 37인용 수 19

한 줄 요약

이 논문은 작업 구조를 인코딩하는 보상 기계(RM) — 메일리 기계의 일종 — 를 사용하여 협동 다중 에이전트 강화 학습(MARL) 작업을 하위 작업으로 분해하는 방법을 제안한다. 개별 에이전트가 분산된 Q-학습 알고리즘을 사용하여 하위 작업에 대해 독립적으로 학습함으로써, 검증 가능한 분해 조건을 통해 팀 수준의 작업 완수를 보장하며, 중심화된 학습보다 약 수십 배 빠른 수렴 속도를 달성하고, 이산 환경에서 계층적 및 독립적 Q-학습 베이스라인을 능가한다.

ABSTRACT

In cooperative multi-agent reinforcement learning, a collection of agents learns to interact in a shared environment to achieve a common goal. We propose the use of reward machines (RM) -- Mealy machines used as structured representations of reward functions -- to encode the team's task. The proposed novel interpretation of RMs in the multi-agent setting explicitly encodes required teammate interdependencies, allowing the team-level task to be decomposed into sub-tasks for individual agents. We define such a notion of RM decomposition and present algorithmically verifiable conditions guaranteeing that distributed completion of the sub-tasks leads to team behavior accomplishing the original task. This framework for task decomposition provides a natural approach to decentralized learning: agents may learn to accomplish their sub-tasks while observing only their local state and abstracted representations of their teammates. We accordingly propose a decentralized q-learning algorithm. Furthermore, in the case of undiscounted rewards, we use local value functions to derive lower and upper bounds for the global value function corresponding to the team task. Experimental results in three discrete settings exemplify the effectiveness of the proposed RM decomposition approach, which converges to a successful team policy an order of magnitude faster than a centralized learner and significantly outperforms hierarchical and independent q-learning approaches.

연구 동기 및 목표

• 협동 다중 에이전트 강화 학습(MARL)에서의 협업 및 비정적 상태 문제를 해결하기 위해.
• 전체 팀 작업을 하위 작업으로 분해하여 보상 기계(RM)로 표현함으로써 분산 학습을 가능하게 하기 위해.
• 하위 작업을 완료하면 원래의 글로벌 작업 실행이 성공적으로 이루어지도록 보장하는 알고리즘 기반 검증 조건을 제공하기 위해.
• 에이전트가 지역 상태와 추상화된 동료 정보만을 사용하여 학습하는 분산 Q-학습 알고리즘을 개발하기 위해.
• 특히 희박하고 시간 지연된 보상이 존재하는 환경에서의 확장성과 샘플 효율성을 입증하기 위해.

제안 방법

• 팀의 협동 작업을 보상 기계(RM)로 표현한다. RM은 작업 사양 내의 시간적 및 논리적 의존성을 인코딩하는 메일리 기계이다.
• 각 에이전트가 하위 작업 RM을 할당받는 새로운 RM 분해 방법을 정의하며, 이는 필수 상호의존성과 동료 정보를 명시적으로 인코딩한다.
• 각 에이전트가 하위 작업 RM을 완료하면 공동 행동이 원래의 글로벌 작업을 달성함을 보장하는 조건을 도입한다.
• 에이전트가 지역 상태와 추상화된 동료 신호만을 사용하여 하위 작업 RM을 학습하는 분산 Q-학습 알고리즘을 설계하며, 동시에 학습을 피한다.
• 할인되지 않은 보상의 경우, 글로벌 가치 함수를 유한하게 제약하는 국소 가치 함수를 유도하여 성능 분석 및 수렴 보장을 가능하게 한다.
• 이슬람 환경에서는 표본 기반 Q-학습을 사용하며, 연속적 설정에는 딥 네트워크로의 확장이 제안된다.

실험 결과

연구 질문

• RQ1 보상 기계를 사용하여 협동 다중 에이전트 작업을 하위 작업으로 분해함으로써 분산 학습을 가능하게 하고 팀 수준의 작업 정확성을 유지할 수 있는가?
• RQ2 개별 에이전트가 하위 작업을 완료하면 글로벌 협동 작업이 성공적으로 수행됨을 보장하는 공식 조건은 무엇인가?
• RQ3 제안된 분산 RM 기반 학습 방법은 중심화된 학습, 계층적 학습, 독립적 Q-학습 베이스라인과 비교해 샘플 효율성과 수렴 속도에서 어떻게 성능을 내는가?
• RQ4 실시간 협업이나 동시에 학습이 필요 없이, 에이전트가 지역 상태와 추상화된 동료 정보만을 사용하여 효과적인 정책을 학습할 수 있는가?
• RQ5 RMs를 하위 작업으로 분해하는 것이, 희박하거나 시간 지연된 보상이 존재하는 다중 에이전트 환경에서 확장성 향상에 얼마나 기여하는가?

주요 결과

• 제안된 분산 알고리즘이 이중 에이전트 랜드미팅 작업에서 중심화된 학습보다 약 수십 배 빠른 속도로 성공적인 팀 정책으로 수렴한다.
• 십 에이전트 랜드미팅 작업에서 제안된 방법은 효과적인 팀 행동을 성공적으로 학습하지만, 계층적 독립 Q-학습(h-IL)과 독립 Q-학습(IQL)은 학습 예산 내에서 수렴하지 못한다.
• RM 분해 프레임워크는 에이전트들이 독립적으로 학습할 수 있도록 하여, 동시에 학습으로 인한 비정적 상태 문제를 제거한다.
• 세 가지 이슬람 환경에서 제안된 방법은 계층적 및 독립적 Q-학습 접근 방식보다 유의미하게 뛰어난 성능을 달성한다.
• 할인되지 않은 보상의 경우, 하위 작업 RM에서 유도된 국소 가치 함수는 글로벌 가치 함수의 증명 가능한 하한 및 상한을 제공하며, 이는 이론적 분석을 가능하게 한다.
• 이 방법은 특히 희박하고 시간 지연된 보상이 존재하는 작업에서 강력한 확장성과 샘플 효율성을 보여준다.