[논문 리뷰] Extended Markov Games to Learn Multiple Tasks in Multi-Agent Reinforcement Learning

Borja G. León, Francesco Belardinelli|arXiv (Cornell University)|2020. 02. 14.

Reinforcement Learning in Robotics참고 문헌 35인용 수 11

한 줄 요약

이 논문은 공식적 프레임워크인 확장 마르코프 게임(EMG)을 소개한다. 이는 비마르코프 특성의 co-safe LTL로 표현된 다수의 사양을 동시에 충족시키며, 다수의 강화학습 에이전트가 동시에 학습할 수 있도록 한다. LPOPL 및 I-LPOPL과 같은 논리 기반 강화학습 알고리즘을 다중 에이전트 환경으로 확장함으로써, 다양한 시간 논리 작업을 위한 협업 정책 학습이 가능해지며, 실험 결과는 에이전트 간 협업을 통한 성능 향상을 보여주지만, 계산 자원 소모 증가를 수반한다.

ABSTRACT

The combination of Formal Methods with Reinforcement Learning (RL) has recently attracted interest as a way for single-agent RL to learn multiple-task specifications. In this paper we extend this convergence to multi-agent settings and formally define Extended Markov Games as a general mathematical model that allows multiple RL agents to concurrently learn various non-Markovian specifications. To introduce this new model we provide formal definitions and proofs as well as empirical tests of RL algorithms running on this framework. Specifically, we use our model to train two different logic-based multi-agent RL algorithms to solve diverse settings of non-Markovian co-safe LTL specifications.

연구 동기 및 목표

• 다중 에이전트 시스템에서 비마르코프 특성의 다수 사양을 충족시키기 위해 다수의 강화학습 에이전트를 훈련시키는 문제에 대응하기 위해.
• 특히 시간 논리와 보상 기계를 포함한 공식적 방법을 다중 에이전트 강화학습으로 확장하여 확장 가능하고 안전하며 조율된 정책 학습을 가능하게 하기 위해.
• 마르코프 게임를 일반화하여 다양한 시간 논리 사양(특히 적대적 또는 단일 작업 설정을 초월)을 지원하는 일반적인 수학적 모델인 확장 마르코프 게임(EMG)을 정식화하기 위해.
• 협업 환경에서 co-safe LTL 사양을 대상으로 논리 지도 다중 에이전트 강화학습 알고리즘을 사용하여 프레임워크의 실증적 검증을 수행하기 위해.
• 동적 커리큘럼 학습을 통한 다중 에이전트 설정에서 학습 속도, 계산 비용, 성능 간의 상호 상충 관계를 탐색하기 위해.

제안 방법

• co-safe LTL 사양에서 유도된 결정성 유한 오토마타(DFA)를 통해 비마르코프 보상 구조를 통합한 마르코프 게임의 일반화로 확장 마르코프 게임(EMG)을 제안한다.
• LTL 사양에서 보상 기계와 DFA로의 공식적 매핑을 도입하여, 다중 에이전트 환경에서 비마르코프 작업에 대한 보상 형상화를 가능하게 한다.
• 단일 에이전트 논리 기반 강화학습 알고리즘인 LPOPL 및 I-LPOPL을 다중 에이전트 변형(I-LPOPL)으로 변환하여, 공유된 시간 논리 제약 조건 하에서 독립적 학습을 지원한다.
• 에이전트들을 다양한 사양 순서로 단계적으로 훈련하는 커리큘럼 학습 전략을 적용하며, 모든 작업에 대해 탐욕 정책 기반 성능 평가를 수행한다.
• 각 에이전트 및 각 사양(또는 부분 사양)에 대해 독립적인 Q-네트워크를 사용하며, 훈련 중 현재 행동 정책에 동기화된 정책 업데이트를 수행한다.
• 모델 체킹 및 공식적 검증 원리를 활용하여 학습된 정책이 지정된 LTL 성질, 특히 co-safe LTL를 충족하는지 보장한다.

실험 결과

연구 질문

• RQ1 공식적 방법을 사용하여 다중 에이전트 강화학습을 비마르코프 특성의 다수 사양을 학습하는 데 효과적으로 확장할 수 있는가?
• RQ2 co-safe LTL에서의 시간 논리 사양은 어떻게 다중 에이전트 학습 프레임워크에 공식적으로 통합되어 정책 최적화를 이끌 수 있는가?
• RQ3 논리 기반 단일 에이전트 강화학습 알고리즘을 다중 에이전트 환경으로 확장할 경우 성능 및 확장성의 상호 상충 관계는 어떠한가?
• RQ4 공유된 보상 구조를 통해 다수의 LTL 사양을 학습할 때 다중 에이전트 시스템에서 에이전트 간 협업은 어떻게 발생하는가?
• RQ5 훈련 커리큘럼 및 정책 업데이트 전략의 선택이 다중 에이전트 논리 지도 강화학습의 학습 안정성과 성능에 미치는 영향은 어떠한가?

주요 결과

• I-LPOPL은 협업 전략(예: 한 에이전트가 물건을 가져오고 다른 에이전트가 도구를 들고 기다리는 것) 덕분에 LPOPL보다 다중 에이전트 환경에서 더 높은 성능을 보이며, 작업 완료 효율성이 향상된다.
• I-DQN-l은 단일 에이전트 지도에서 DQN-l보다 더 높은 보상을 기록하며, 다중 에이전트 협업이 작업 수행에 유리함을 입증한다.
• I-LPOPL은 50,000 훈련 스텝 이후 성능 저하를 보이며, 활성 행동 정책 사용 없이 네트워크 업데이트 시 협업 정책을 忘却하기 때문에 정책 안정성 문제를 노출한다.
• I-LPOPL은 I-DQN-l(1.57–2.15시간)에 비해 훨씬 더 많은 계산 시간(11.32–14.28시간)을 소비하며, 이는 각 에이전트 및 부분 사양마다 DQN을 유지하기 때문에 모델 복잡도가 증가하기 때문이다.
• 프레임워크는 다양한 co-safe LTL 사양(순차적 및 순서 없는 작업 세트 포함)을 학습하고 충족시키는 데 성공했으며, 3회 반복 실험의 평균 보상 곡선 및 백분위수를 통해 검증되었다.
• 결과는 공식적 방법이 다중 에이전트 강화학습에 효과적으로 통합될 수 있으며, EMG가 이러한 확장의 일반적인 수학적 기반을 제공함을 확인한다.