[논문 리뷰] Multiagent Model-based Credit Assignment for Continuous Control

Dongge Han, Chris Xiaoxuan Lu외 2명|arXiv (Cornell University)|2021. 12. 27.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 로봇 공학에서 연속 제어를 위한 탈중앙화된 다중에이전트 강화학습 프레임워크를 제안하며, 중심화된 훈련과 탈중앙화된 실행을 결합하고, 반세값을 사용한 모델 기반 게임 이론적 책임 할당을 도입하여 전역 보상에 대해 개별 에이전트에 공정하게 보상을 할당한다. 본 방법은 환경의 동적 특성을 학습하여 협력 집단의 가치를 추정함으로써 면밀한 샘플 효율성과 견고한 성능을 달성한다. MuJoCo 이동 작업에서 뛰어난 성능을 발휘한다.

ABSTRACT

Deep reinforcement learning (RL) has recently shown great promise in robotic continuous control tasks. Nevertheless, prior research in this vein center around the centralized learning setting that largely relies on the communication availability among all the components of a robot. However, agents in the real world often operate in a decentralised fashion without communication due to latency requirements, limited power budgets and safety concerns. By formulating robotic components as a system of decentralised agents, this work presents a decentralised multiagent reinforcement learning framework for continuous control. To this end, we first develop a cooperative multiagent PPO framework that allows for centralized optimisation during training and decentralised operation during execution. However, the system only receives a global reward signal which is not attributed towards each agent. To address this challenge, we further propose a generic game-theoretic credit assignment framework which computes agent-specific reward signals. Last but not least, we also incorporate a model-based RL module into our credit assignment framework, which leads to significant improvement in sample efficiency. We demonstrate the effectiveness of our framework on experimental results on Mujoco locomotion control tasks. For a demo video please visit: https://youtu.be/gFyVPm4svEY.

연구 동기 및 목표

• 전역 보상만 제공되는 탈중앙화된 다중에이전트 강화학습에서의 책임 할당 문제를 해결하기 위해.
• 연속 행동 공간에 적합한 일반적인 게임 이론적 프레임워크를 개발하기 위해 반세값을 사용하여 기존의 셰플리 및 반잔프 값과 같은 책임 할당 방법을 일반화하기 위해.
• 모델 기반 강화학습을 책임 할당 과정에 통합하여 협력 집단 가치 추정의 정확도를 향상시키기 위해.
• 중심화된 훈련과 탈중앙화된 실행을 조합하여 샘플 효율적이고 견고한 학습을 가능하게 하기 위해.
• 표준 MuJoCo 이동 벤치마크에서 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 중앙화된 훈련과 탈중앙화된 실행(CTDE)을 특징으로 하는 협동 다중에이전트 설정으로 Proximal Policy Optimization (PPO)를 확장한다.
• 협동 게임 이론에서 유래한 반세값의 일반적인 가족인 솔루션 개념 기반 게임 이론적 책임 할당 프레임워크를 도입하여 전역 수익에서 에이전트별 보상 신호를 계산한다.
• 단기 예측 동적 특성을 제공하는 모델 기반 RL 모듈을 활용하여 협력 집단 가치를 효율적으로 추정함으로써 실제 환경의 롤아웃에 대한 의존도를 줄인다.
• 신경망의 순방향 전파를 사용하여 모델 기반 프레임워크 하에서 협력 집단 가치를 계산함으로써 확장 가능한 책임 할당 계산을 가능하게 한다.
• 실행 중에 개별 정책을 탈중앙화된 방식으로 학습하기 위해 추정된 에이전트별 보상을 적용한다.
• 모델을 사용해 궤적을 시뮬레이션하고, 특히 장기 이동 거리 책임 할당에서 가치 추정을 향상시킨다.

실험 결과

연구 질문

• RQ1 반세값 기반의 일반적인 게임 이론적 책임 할당 프레임워크가 전역 보상 신호만 존재하는 다중에이전트 연속 제어에 효과적으로 적용될 수 있는가?
• RQ2 모델 기반 동적 특성 예측을 통합할 경우 책임 할당에서 협력 집단 가치 추정의 정확성과 효율성이 어떻게 향상되는가?
• RQ3 제안된 모델 기반 책임 할당 프레임워크가 다중에이전트 연속 제어에서 샘플 효율성과 학습 안정성에 얼마나 기여하는가?
• RQ4 이동 작업에서 기존의 책임 할당 방법과 비교하여 성능과 견고성 측면에서 프레임워크는 어떤가?
• RQ5 복잡한 MuJoCo 연속 제어 환경에서 탈중앙화된 실행을 통해 프레임워크가 성공적으로 적용될 수 있는가?

주요 결과

• 제안된 모델 기반 책임 할당 프레임워크는 다중에이전트 연속 제어에서 샘플 효율성을 크게 향상시켜 수렴에 필요한 환경 상호작용 횟수를 줄였다.
• 반세값의 사용은 연속 행동 공간에서 기존 방법(예: 셰플리 값)과 비교해도 유연하고 원칙적인 책임 할당 메커니즘을 가능하게 하며, 이를 일반화한다.
• 모델 기반 동적 특성 추정을 통합함으로써 보다 정확한 협력 집단 가치 예측이 가능해졌고, 이는 개별 에이전트의 책임 할당 품질 향상으로 이어졌다.
• 프레임워크는 MuJoCo 이동 작업에서 뛰어난 성능을 발휘하여 탈중앙화된 실행 조건에서도 견고하고 안정적인 학습을 보였다.
• 모델 기반 구성 요소는 실제 환경 롤아웃을 최소화함으로써 책임 할당의 계산 비용을 감소시키면서도 학습 성능를 유지했다.
• 특히 고차원 연속 제어 환경에서 최종 수익과 학습 안정성 측면에서 베이스라인 방법을 능가하는 성능을 보였다.