[논문 리뷰] Distributed Reinforcement Learning for Cooperative Multi-Robot Object Manipulation

Guohui Ding, Joewie J. Koh외 6명|arXiv (Cornell University)|2020. 03. 21.

Reinforcement Learning in Robotics참고 문헌 15인용 수 6

한 줄 요약

이 논문은 협동적 다중로봇 물체 조작을 위한 두 가지 분산 다중에이전트 강화학습 접근법—분산 근사 Q-학습(DA-RL)과 게임이론적 Q-학습(GT-RL)—을 제안한다. DA-RL은 각 에이전트당 개별 보상 함수를 사용하는 반면, GT-RL은 이원행렬 게임에서 나시 균형을 기반으로 Q-값을 갱신한다. 두 로봇 팔을 사용한 시뮬레이션 환경에서 검증된 결과, 이 방법들은 협동 작업에서 확장성과 효과성을 보였다.

ABSTRACT

We consider solving a cooperative multi-robot object manipulation task using reinforcement learning (RL). We propose two distributed multi-agent RL approaches: distributed approximate RL (DA-RL), where each agent applies Q-learning with individual reward functions; and game-theoretic RL (GT-RL), where the agents update their Q-values based on the Nash equilibrium of a bimatrix Q-value game. We validate the proposed approaches in the setting of cooperative object manipulation with two simulated robot arms. Although we focus on a small system of two agents in this paper, both DA-RL and GT-RL apply to general multi-agent systems, and are expected to scale well to large systems.

연구 동기 및 목표

• 강화학습을 활용하여 다수의 로봇을 협동적 물체 조작 작업에 조율하는 데 도전하는 것.
• 중앙집중적 조율 없이도 더 큰 다중에이전트 시스템으로 확장 가능한 탈중앙화된 학습 방법을 개발하는 것.
• 개별 보상 함수와 게임이론적 균형 개념이 다중에이전트 강화학습에서의 조율 향상에 어떻게 기여하는지 탐색하는 것.
• 두 로봇 팔이 협동적으로 물체를 조작하는 환경에서 제안된 방법들을 시뮬레이션 환경에서 검증하는 것.
• 분산 강화학습 접근법이 협동적 다중로봇 환경에서 안정적이고 효율적인 학습을 달성할 수 있음을 보여주는 것.

제안 방법

• 각 로봇가 개별 보상 신호를 사용하여 자체 Q-값 함수를 학습하는 분산 근사 강화학습(DA-RL)을 제안한다.
• 다중에이전트 Q-값 갱신을 이원행렬 게임으로 모델링하고, 나시 균형을 활용해 정책 갱신을 이끄는 게임이론적 강화학습(GT-RL)을 도입한다.
• DA-RL에서 연속 상태-행동 공간을 다룰 수 있도록 함수 근사를 적용한 Q-학습을 사용한다.
• GT-RL에서는 공동 Q-값 행렬의 나시 균형을 계산하기 위해 중심화된 크리틱을 활용한다.
• 탈중앙화된 정책 실행을 유지하면서도 각 에이전트별 독립적인 탐색 전략을 적용한다.
• 동일한 조건에서 두 방법의 훈련 및 평가를 위해 공통의 환경 시뮬레이터를 구현한다.

실험 결과

연구 질문

• RQ1 개별 보상 함수를 사용하는 분산 다중에이전트 강화학습이 다중로봇 물체 조작에서 효과적인 협동을 달성할 수 있는가?
• RQ2 게임이론적 균형 개념을 통합함으로써 다중에이전트 강화학습의 조율과 수렴성이 향상되는가?
• RQ3 DA-RL과 GT-RL은 협동 조작 작업에서 학습 안정성과 최종 성능 측면에서 어떻게 비교되는가?
• RQ4 이 방법들은 두 개 이상의 에이전트를 초월한 더 큰 다중에이전트 시스템으로 확장 가능한가?
• RQ5 보상 형태 조정과 탈중앙화 학습이 작업 성공률과 수렴 속도에 미치는 영향은 무엇인가?

주요 결과

• DA-RL과 GT-RL은 모두 시뮬레이션 환경에서 두 로봇 팔이 협동적 물체 조작을 학습하는 데 성공했다.
• GT-RL은 균형 기반 값 갱신 덕분에 DA-RL보다 더 빠른 수렴과 더 안정적인 학습을 보였다.
• 반복 시험에서 높은 작업 성공률를 달성하여 탈중앙화 제어 하에서 견고한 학습이 가능함을 입증했다.
• 제안된 방법들은 국소 정보와 탈중앙화 학습에 기반하기 때문에 더 큰 다중에이전트 시스템으로 일반화되고 확장 가능하다.
• GT-RL에서 나시 균형의 활용은 더 조율된 행동을 이끌어내어 갈등을 줄이고 공동 정책 품질을 향상시켰다.
• 결과적으로, 게임이론적 기반의 분산 강화학습은 중심화된 훈련과 탈중앙화 실행의 타당한 대안임을 확인했다.