[논문 리뷰] Deep Multi-Agent Reinforcement Learning with Relevance Graphs

Aleksandra Malysheva, Tegg Tae Kyong Sung외 3명|arXiv (Cornell University)|2018. 11. 30.

Reinforcement Learning in Robotics참고 문헌 16인용 수 36

한 줄 요약

이 논문은 환경 객체와 에이전트 간의 동적 관련성 그래프를 학습하기 위해 자기주의(self-attention)를 사용하고, NerveNet에 영감을 받은 메시지 전달 기법을 활용하여 협업을 향상시키는 딥 다중에이전트 강화학습 프레임워크인 MAGNet을 제안한다. Pommerman에서 평가된 결과, DQN, MADDPG, MCTS와 같은 최신 기술들을 크게 앞서며, 그래프 공유와 주의 메커니즘 덕분에 승리 확률이 높고 수렴 속도가 빠르다.

ABSTRACT

Over recent years, deep reinforcement learning has shown strong successes in complex single-agent tasks, and more recently this approach has also been applied to multi-agent domains. In this paper, we propose a novel approach, called MAGnet, to multi-agent reinforcement learning (MARL) that utilizes a relevance graph representation of the environment obtained by a self-attention mechanism, and a message-generation technique inspired by the NerveNet architecture. We applied our MAGnet approach to the Pommerman game and the results show that it significantly outperforms state-of-the-art MARL solutions, including DQN, MADDPG, and MCTS.

연구 동기 및 목표

• 에이전트가 다른 에이전트와 객체의 관련성을 이해해야 하는 복잡한 환경에서의 다중에이전트 협업 문제를 해결하기 위해.
• 특히 이해가 덜 된 도메인에서는 수작업으로 만든 특징에 의존하지 않고 환경의 관련성을 동적으로 학습하기 위해.
• 그래프 기반 주의 메커니즘을 통한 관련성의 구조적 표현을 통합하여 다중에이전트 정책 학습을 향상시키기 위해.
• NerveNet에서 영감을 받은 메시지 생성 기법을 사용하여 에이전트 간의 정보 교환을 향상시키기 위해.
• 자기주의, 그래프 공유, 메시지 전달 모듈의 효과성을 실증적으로 검증하기 위해.

제안 방법

• MAGNet은 자기주의 기법을 활용해 각 에이전트가 환경 객체와 에이전트의 중요도를 포착하는 동적 관련성 그래프를 구성한다.
• 관련성 그래프를 기반으로 메시지가 에이전트 간에 생성되며, 이는 NerveNet 아키텍처에서 영감을 받은 것으로, 구조화된 정보 교환을 가능하게 한다.
• 그래프 공유 기법이 도입되어, 각 에이전트가 개별 그래프를 유지하는 대신 하나의 관련성 그래프를 공유함으로써 정책 일반화를 향상시킨다.
• 프레임워크는 관련성 그래프를 통해 정보를 전파하여 상태 표현을 개선하는 메시지 전달 기법을 통합한다.
• 공유된 손실 목표를 사용해 그래프 생성 네트워크를 훈련하며, 자기주의 기법이 노드 표현 학습과 수렴 속도를 향상시킨다.
• 전반적인 아키텍처는 상태 인코딩, 행동 예측, 메모리 갱신을 위해 컨볼루션 및 완전 연결 네트워크를 조합하며, 잔여 연결과 배치 정규화를 포함한다.

실험 결과

연구 질문

• RQ1 자기주의 기법이 다중에이전트 환경에서 에이전트와 환경 객체 간의 동적 관련성을 효과적으로 학습할 수 있는가?
• RQ2 에이전트 간에 하나의 관련성 그래프를 공유하는 것이 개별 그래프 대비 샘플 효율성과 정책 성능을 향상시키는가?
• RQ3 학습된 관련성 그래프를 기반으로 한 메시지 전달이 MARL에서 협업과 성능 향상에 얼마나 기여하는가?
• RQ4 자기주의와 그래프 공유가 관련성 그래프 생성의 훈련 동역학과 최종 성능 향상에 어떻게 상호작용하는가?
• RQ5 MAGNet이 Pommerman과 같은 복잡한 다중에이전트 게임에서 DQN, MADDPG, MCTS와 같은 기존 MARL 기반 기법을 능가할 수 있는가?

주요 결과

• MAGNet은 Pommerman 환경에서 DQN, MADDPG, MCTS보다 유의미하게 높은 승리 확률을 기록하여, 더 뛰어난 정책 성능을 입증했다.
• 자기주의와 그래프 공유의 통합으로 관련성 그래프 학습의 손실이 감소하고 수렴 속도가 빨라졌다.
• 그래프 공유로 인해 승리 확률에 명백한 향상이 있었으며, 10,000 에피소드 후 MAGNet-Att-NerveNet-GS 팀이 MAGNet-AttNerveNet 팀을 앞서는 성과를 보였다.
• 제거 실험 결과, 자기주의, 그래프 공유, 메시지 생성 각각이 성능 향상에 독립적으로 기여하며, 누적 효과도 확인되었다.
• 관련성 그래프의 시각화 결과, 에이전트들이 전략 기반으로 다른 관련성 인식을 갖는 것으로 드러났다. 예를 들어, 에이전트 1은 에이전트 4를 관련성이 있다고 인식했지만, 에이전트 2는 그렇지 않았다. 이는 적응형 협업의 가능성을 보여준다.
• 공유된 관련성 그래프 덕분에 개별 그래프보다 더 미세하고 차별화된 에이전트 행동이 가능해졌으며, 개별 그래프의 경우 관련성을 대칭적으로 취급하는 데서 비롯된 제한을 피할 수 있었다.