[논문 리뷰] M$^3$RL: Mind-aware Multi-agent Management Reinforcement Learning

Tianmin Shu, Yuandong Tian|arXiv (Cornell University)|2018. 09. 29.

Reinforcement Learning in Robotics참고 문헌 41인용 수 13

한 줄 요약

이 논문은 M$^3$RL을 제안하며, 이는 실시간으로 자기 이기적인 워커 에이전트의 마음(기량, 선호도, 의도)을 추론하고 보너스가 포함된 최적의 계약을 할당하여 효율적이고 유연한 협업을 가능하게 하는 강화학습 프레임워크이다. 행동 기록과 관찰 데이터를 기반으로 심리 추적을 위한 이mitation learning(IL)과 계약 생성을 위한 딥 강화학습(DRL)을 융합함으로써, 낮은 지불 비용으로도 높은 생산성을 달성하며, 다이나믹한 다중에이전트 환경에서 뛰어난 일반화 능력과 빠른 적응성을 입증한다.

ABSTRACT

Most of the prior work on multi-agent reinforcement learning (MARL) achieves optimal collaboration by directly controlling the agents to maximize a common reward. In this paper, we aim to address this from a different angle. In particular, we consider scenarios where there are self-interested agents (i.e., worker agents) which have their own minds (preferences, intentions, skills, etc.) and can not be dictated to perform tasks they do not wish to do. For achieving optimal coordination among these agents, we train a super agent (i.e., the manager) to manage them by first inferring their minds based on both current and past observations and then initiating contracts to assign suitable tasks to workers and promise to reward them with corresponding bonuses so that they will agree to work together. The objective of the manager is maximizing the overall productivity as well as minimizing payments made to the workers for ad-hoc worker teaming. To train the manager, we propose Mind-aware Multi-agent Management Reinforcement Learning (M^3RL), which consists of agent modeling and policy learning. We have evaluated our approach in two environments, Resource Collection and Crafting, to simulate multi-agent management problems with various task settings and multiple designs for the worker agents. The experimental results have validated the effectiveness of our approach in modeling worker agents' minds online, and in achieving optimal ad-hoc teaming with good generalization and fast adaptation.

연구 동기 및 목표

• 자신의 선호도, 기량, 의도를 개인적으로 지닌 자기 이기적인 에이전트를 다중에이전트 시스템에서 효과적으로 조율하는 문제를 해결하기 위해.
• 행동력 기록과 관찰 데이터를 기반으로 온라인으로 워커의 마음을 추론할 수 있는 관리자 에이전트를 개발하기 위해.
• 팀의 생산성을 극대화하면서 지불 비용을 최소화하기 위해 목표와 보너스를 최적화하여 계약을 할당하기 위해.
• 변화하는 팀, 진화하는 워커의 기량/선호도, 그리고 새로운 환경에 빠르게 적응할 수 있도록 하기 위해.
• 고급 탐색 및 후속 표현 기법을 통해 학습 효율성과 정책 일반화 능력을 향상시키기 위해.

제안 방법

• 관리자는 성과 기록에서 행동 패턴을 분석함으로써 워커의 신원을 식별하고, 내부 상태(기량, 선호도)를 추적하기 위해 이민트레이닝(IL)을 사용한다.
• 심리 추적기는 관찰된 행동과 작업 결과를 기반으로 워커의 비공개 속성을 추정하기 위해 IL을 통해 훈련된다.
• 계약 생성은 딥 강화학습(DRL) 문제로 모델링되며, 관리자는 협업을 유도하기 위해 목표와 보너스를 할당하는 방식으로 학습한다.
• 복잡한 작업 의존성 간의 신뢰도 할당 및 정책 일반화를 향상시키기 위해 고수준의 후속 표현(SR)을 학습한다.
• 다이나믹한 환경에서 변화하는 워커 조합에 대응하기 위해 에이전트별 ε-greedy 탐색 기법을 적용한다.
• 성과 기록을 통해 워커의 신원을 식별함으로써, 사전 지식 없이도 개별 에이전트의 상태를 추적하고 적응할 수 있다.

실험 결과

연구 질문

• RQ1 관리자는 워커 에이전트의 행동 패tern에서 그들의 비공개 마음(기량, 선호도, 의도)을 효과적으로 추론할 수 있는가?
• RQ2 관리자는 팀의 생산성을 극대화하면서 지불 비용을 최소화하기 위해 최적의 계약(목표 및 보너스)을 얼마나 잘 할당할 수 있는가?
• RQ3 새로운 워커와 변화하는 기량 분포를 포함한 새로운 팀 구성에 대해 관리자가 얼마나 잘 일반화할 수 있는가?
• RQ4 지연되고 희박한 보상이 존재하는 다이나믹한 환경에서 제안된 방법의 적응 능력은 얼마나 효과적인가?
• RQ5 IL, SR, 에이전트별 탐색과 같은 핵심 구성요소가 전체 성능과 적응성에 기여하는 정도는 어떠한가?

주요 결과

• 성과 기록과 이민트레이닝을 기반으로, 관리자는 선호도가 고정되어 있지 않거나 속임수를 쓰는 경우에도 실시간으로 워커의 마음을 성공적으로 추론한다.
• 자원 수집 및 제작 환경 모두에서 기준 방법보다 평균 보상이 높게 나타나며, 특히 팀의 동적 변화가 있는 상황에서 두드러진다.
• 75%의 워커 교체가 발생하는 상황에서도 M$^3$RL 관리자는 오라클(기본 지식이 있는)과 유사한 보상을 신속하게 달성하며, 시간에 따른 ε-greedy 기준보다 뛰어난 성능을 보인다.
• 다양한 팀 규모에 대해 잘 일반화되며, 높은 워커 수에서 성능이 정체되는 경향이 있지만, 저수준 워커 환경에서는 기본 지식 기반 기준을 초월하는 성능을 기록한다.
• 확률적이고 최적화되지 않은 워커 정책 하에서도 모델은 강력한 성능을 유지하며, 최대 20%의 행동 랜덤성 수준에서 보상 감소 폭이 다소 증가할 뿐이다.
• 제거 실험을 통해 IL, SR, 에이전트별 탐색이 핵심 구성요소로 기여하며, 학습 효율성, 안정성, 적응 속도 향상에 크게 기여함을 확인했다.