[논문 리뷰] Collaboration of AI Agents via Cooperative Multi-Agent Deep Reinforcement Learning

Niranjan Balachandar, Justin Dieter외 1명|arXiv (Cornell University)|2019. 06. 30.

Reinforcement Learning in Robotics참고 문헌 5인용 수 8

한 줄 요약

이 논문은 그리드 풋살에서 협동하는 AI 에이전트를 훈련시키기 위해 협동 다중에이전트 딥 강화학습 방법—특히 파라미터 공유, 통신을 통한 협동 학습, 그리고 반사적 정책 그래เดียน트—을 제안한다. 통신을 통한 협동 학습 방법이 가장 높은 성능을 보였으며, 수동으로 코드화된 팀에 대비해 94.5%의 에피소드에서 골을 성공했고, 적대적 훈련 상황에서는 75%의 성공률을 기록하여 다른 방법들에 비해 훨씬 뛰어난 적응성과 협업 능력을 입증하였다.

ABSTRACT

There are many AI tasks involving multiple interacting agents where agents should learn to cooperate and collaborate to effectively perform the task. Here we develop and evaluate various multi-agent protocols to train agents to collaborate with teammates in grid soccer. We train and evaluate our multi-agent methods against a team operating with a smart hand-coded policy. As a baseline, we train agents concurrently and independently, with no communication. Our collaborative protocols were parameter sharing, coordinated learning with communication, and counterfactual policy gradients. Against the hand-coded team, the team trained with parameter sharing and the team trained with coordinated learning performed the best, scoring on 89.5% and 94.5% of episodes respectively when playing against the hand-coded team. Against the parameter sharing team, with adversarial training the coordinated learning team scored on 75% of the episodes, indicating it is the most adaptable of our methods. The insights gained from our work can be applied to other domains where multi-agent collaboration could be beneficial.

연구 동기 및 목표

• 협동 과제에서 효과적인 협업을 가능하게 하는 다중에이전트 강화학습 프로토콜을 개발하고 평가하는 것.
• 강력한 수동으로 코드화된 기준과 비교하여, 파라미터 공유, 통신을 통한 협동 학습, 반사적 정책 그래디언트 등의 분산형 방법들을 그리드 풋살 환경에서 평가하는 것.
• 이러한 방법들이 적대적 훈련 조건 하에서의 적응성, 일반화 능력 및 성능을 평가하는 것.
• 다중에이전트 협업에서 전문화, 통신, 내구성 간의 균형을 가장 잘 유지하는 방법을 규명하는 것.

제안 방법

• 10×18 격자에서 3명의 플레이어 팀을 사용하는 그리드 풋살 시뮬레이터에서, 경험 재생과 타겟 네트워크를 활용한 딥 Q네트워크(DQN)를 사용해 에이전트를 훈련시켰다.
• 모든 에이전트가 동일한 정책 네트워크를 공유하는 파라미터 공유를 구현하여, 명시적 통신 없이도 공동 학습을 가능하게 하였다.
• 에이전트들이 관측치와 행동을 공유하여 공동 상태 표현을 형성함으로써 협업을 향상시키는 통신을 통한 협동 학습을 적용하였다.
• 중앙집중식 가치 함수를 계산하고 반사적 이점 함수를 통해 개별 행동에 책임을 부여하는 반사적 정책 그래디언트(COMA)를 사용하였다.
• 공동 행동에 대한 Q값을 추정하기 위해 중앙집중식 크리틱 네트워크를 도입하여, 분산된 정책을 유지하면서도 책임 할당을 가능하게 하였다.
• 반사적 이점을 활용한 정책 갱신을 적용하였으며, 이는 $ A^a(s, \mathbf{u}) = Q(s, \mathbf{u}) - \sum_{u^{\prime a}} \pi^a(u^{\prime a}|\tau^a) Q(s, (\mathbf{u}^{-a}, u^{\prime a})) $ 로 표현된다.

실험 결과

연구 질문

• RQ1 그리드 풋살과 같은 협동 게임에서 협동을 훈련시키는 데 있어, 다양한 다중에이전트 딥 강화학습 방법 간의 성능 비교는 어떻게 이루어지는가?
• RQ2 통신 기능이나 책임 할당 메커니즘을 갖춘 분산형 방법들이 독립적 학습이나 파라미터 공유보다 협동 과제에서 더 뛰어난 성능을 내는가?
• RQ3 통신을 통한 협동 학습 방법과 반사적 정책 그래디언트 방법 간의 안정성, 적응성, 최종 성능 측면에서의 성능 비교는 어떠한가?
• RQ4 협동 학습을 통해 훈련된 팀은 적대적 훈련 상황에서 얼마나 잘 적응하여 다른 학습된 팀들을 능가할 수 있는가?

주요 결과

• 통신을 통한 협동 학습 방법은 수동으로 코드화된 팀에 대비해 94.5%의 골 성공률을 기록하여, 모든 다른 방법들을 능가하였다.
• 파라미터 공유 팀과의 적대적 훈련 상황에서, 통신을 통한 협동 학습 팀은 75%의 에피소드에서 골을 성공시켜 강력한 적응성과 내구성을 입증하였다.
• 동시 학습 방법은 열악한 협업을 보였으며, 한 에이전트가 역할를 지배하고 나머지 에이전트들은 거의 학습하지 못해 협업이 최소한도에 그쳤다.
• 반사적 정책 그래디언트 방법은 빠르게 수렴했지만 局부 최적점에 갇혀 공격에만 집중하고 수비를 간과하는 경향을 보였다.
• 파라미터 공유 방법은 거의 완벽한 성능를 달성했지만, 훈련 과정에서 약간의 불안정성이 나타나 성능가 시간에 따라 변동이 있었다.
• 통신을 통한 협동 학습 방법은 가장 느리게 학습되었지만 안정적으로 최적에 가까운 성능로 수렴하여, 향후 학습 능력과 협업 능력 면에서 뛰어난 성능를 보였다.