[논문 리뷰] Graph Convolutional Reinforcement Learning for Multi-Agent Cooperation

Jiechuan Jiang, Chen Dun외 1명|arXiv (Cornell University)|2018. 10. 22.

Complex Network Analysis Techniques참고 문헌 19인용 수 51

한 줄 요약

이 논문은 다이나믹한 그래프 구조를 통해 고차원의 상관관계를 포착함으로써 다중 에이전트 협업을 모델링하는 그래프 컨volution 강화학습 프레임워크를 제안한다. 확장되는 수신 필드를 가진 에이전트 간 메시지 전달과 시간적으로 정규화된 관계 표현을 활용함으로써, 더 정교하고 일관된 협업 전략을 가능하게 하여 정글 및 전투 게임, 네트워크 라우팅 작업에서 이전 방법들을 능가한다.

ABSTRACT

Learning to cooperate is crucially important in multi-agent reinforcement learning. The key is to take the influence of other agents into consideration when performing distributed decision making. However, multi-agent environment is highly dynamic, which makes it hard to learn abstract representations of influences between agents by only low-order features that existing methods exploit. In this paper, we propose a graph convolutional model for multi-agent cooperation. The graph convolution architecture adapts to the dynamics of the underlying graph of the multi-agent environment, where the influence among agents is captured by their abstract relation representations. High-order features extracted by relation kernels of convolutional layers from gradually increased receptive fields are exploited to learn cooperative strategies. The gradient of an agent not only backpropagates to itself but also to other agents in its receptive fields to reinforce the learned cooperative strategies. Moreover, the relation representations are temporally regularized to make the cooperation more consistent. Empirically, we show that our model enables agents to develop more cooperative and sophisticated strategies than existing methods in jungle and battle games and routing in packet switching networks.

연구 동기 및 목표

• 매우 동적인 다중 에이전트 환경에서 에이전트 영향력의 추상적 고차원 표현을 학습하는 데 도전하는 것.
• 저차원 특징을 초월한 상호에이전트 관계 모델링을 통해 분산 결정을 향상시키는 것.
• 관계 표현의 시간 정규화를 통해 협업 일관성을 향상시키는 것.
• 다양해지는 의존성을 포착하는 유연하고 확장 가능한 프레임워크를 개발하는 것.

제안 방법

• 에이전트를 노드로, 그들의 상호작용을 동적 엣지로 가지는 그래프 구조에서 작동하는 그래프 컨볼루션 아키텍처를 사용한다.
• 컨볼루션 레이어의 관계 커널이 점차 증가하는 수신 필드에서 고차원 특징을 추출하여 에이전트 간 복잡한 의존성을 모델링한다.
• 기울기 역전파를 에이전트 자신의 파라미터뿐만 아니라 수신 필드 내 다른 에이전트까지 확장하여 협업 학습을 강화한다.
• 관계 표현에 시간 정규화를 적용하여 학습된 협업 전략의 안정성과 일관성을 향상시킨다.
• 다중 에이전트 강화학습 프레임워크 내에서 정책 기반 강화학습 방법을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 환경 변화에 따라 그래프 구조가 다이나믹하게 적응하여 환경의 동적 특성에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 그래프 컨볼루션을 통해 추출한 고차원 관계 특징이 동적인 환경에서 다중 에이전트 협업을 향상시키는가?
• RQ2 이웃 에이전트까지 기울기 역전파를 확장하면 협업 전략 학습이 어떻게 향상되는가?
• RQ3 관계 표현의 시간 정규화가 협업 행동의 일관성에 얼마나 기여하는가?
• RQ4 제안된 방법이 복잡한 다중 에이전트 환경에서 기존 방법보다 더 정교한 전략을 학습할 수 있는가?

주요 결과

• 제안된 방법은 정글 및 전투 게임에서 기존 접근법에 비해 더 협업적이고 정교한 전략을 개발하는 데 성공했다.
• 관계 표현의 시간 정규화를 통해 모델이 협업 일관성을 향상시켰다.
• 그래프 컨볼루션 레이어를 통해 추출된 고차원 특징은 동적 환경에서 상호에이전트 영향력을 더 잘 표현한다.
• 확장된 기울기 역전파 메커니즘은 에이전트 이웃 영역으로 신용을 전파함으로써 협업 정책 학습을 강화한다.
• 실험 결과, 패킷 스위칭 네트워크 내 라우팅 작업에서 기준 방법 대비 뛰어난 성능을 보였다.
• 복잡하고 변화하는 에이전트 상호작용을 포함한 환경에서 프레임워크가 확장성과 적응성을 입증했다.