[논문 리뷰] Graph Convolutional Reinforcement Learning

Jiechuan Jiang, Chen Dun외 2명|arXiv (Cornell University)|2018. 10. 22.

Reinforcement Learning in Robotics참고 문헌 37인용 수 32

한 줄 요약

이 논문은 관계 커널과 시간적 정규화를 사용한 그래프 컬러션을 통해 다중 에이전트 환경을 동적 그래프로 모델링하고 협동 정책을 학습하는 그래프 컬러션 강화학습(DGN)을 제안한다. DGN은 변화하는 그래프에서 메시지 전달을 통해 확장 가능하고 일관된 협동을 가능하게 하여 라우팅 및 다중 에이전트 게임과 같은 협동 작업에서 기존 방법보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Learning to cooperate is crucially important in multi-agent environments. The key is to understand the mutual interplay between agents. However, multi-agent environments are highly dynamic, where agents keep moving and their neighbors change quickly. This makes it hard to learn abstract representations of mutual interplay between agents. To tackle these difficulties, we propose graph convolutional reinforcement learning, where graph convolution adapts to the dynamics of the underlying graph of the multi-agent environment, and relation kernels capture the interplay between agents by their relation representations. Latent features produced by convolutional layers from gradually increased receptive fields are exploited to learn cooperation, and cooperation is further improved by temporal relation regularization for consistency. Empirically, we show that our method substantially outperforms existing methods in a variety of cooperative scenarios.

연구 동기 및 목표

• 에이전트 관계와 이웃 관계가 급격히 변화하는 매우 동적인 다중 에이전트 환경에서 협동 정책을 학습하는 데 도전하는 것.
• 기존 방법이 전체 통신, 평균장 근사, 또는 인과적 영향에 의존함에 따라 중요한 관계 정보를 상실하는 것과는 달리, 에이전트 상호작용을 더 효과적으로 모델링하는 것.
• 에이전트 수의 변화에 대해 잘 일반화되는 확장 가능한, 파rameter 공유 강화학습 프레임워크를 개발하는 것.
• 관계 표현의 시간적 정규화를 통해 동적 환경에서 협동 일관성을 향상시키는 것.
• 최첨단 다중 에이전트 강화학습 기준선과 비교하여 네트워크 라우팅 및 다중 에이전트 게임과 같은 협동 작업에서 뛰어난 성능을 보여주는 것.

제안 방법

• 다중 에이전트 환경을 동적 그래프로 모델링하며, 에이전트를 노드로, 관측값을 노드 특성으로, 각 에이전트와 이웃 간에 간선을 연결한다.
• 다중 헤드 어텐션을 컨볼루션 커널로 사용하여 그래프 컬러션을 수행함으로써, 입력 순서에 관계없이 에이전트 간의 관계 표현을 학습할 수 있도록 한다.
• 스택된 그래프 컬러션 계층을 통해 점차 증가하는 수신 영역에서 잠재 특징을 추출하여 다중 척도 협동 패턴을 포착한다.
• 시간적 관계 정규화는 연속된 타임스텝 간의 관계 표현 간의 KL 발산을 최소화하여 정책 일관성을 촉진한다.
• DGN(Depth Graph Network)으로 프레임워크를 구현하며, 이는 엔드 투 엔드로 동작하며 파rameter 공유된 딥 Q-네트워크로서 에이전트 수에 관계없이 일반화된다.
• 모델은 변화하는 그래프에서 메시지 전달을 활용하여 국소 및 확장된 이웃 정보를 기반으로 정책을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 그래프 컬러션 네트워크는 다중 에이전트 강화학습에서 동적 에이전트 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 에이전트 간의 관계 표현을 학습하는 것이 평균장 또는 전체 통신 기반 방법을 초월해 협동을 향상시키는가?
• RQ3 관계 표현의 시간적 정규화가 동적 환경에서 더 일관되고 안정적인 협동 정책을 이끌 수 있는가?
• RQ4 재학습 없이도 더 많은 수의 에이전트에 대해 잘 일반화되는가?
• RQ5 복잡한 협동 작업, 예를 들어 네트워크 라우팅 및 다중 에이전트 게임에서 기존 MARL 방법을 능가하는가?

주요 결과

• N=20, L=20 조건의 라우팅 작업에서 DGN은 평균 보상 1.23을 기록하여 MFQ(1.02), CommNet(0.49), DQN(0.18)을 크게 앞섰다.
• DGN은 평균 패킷 지연을 8.0 타임스텝으로 줄였고, 타임스텝당 2.50개 패킷의 Throughput를 달성하여, 대역폭 제한이 있는 Floyd보다 우수했다(Floyd: 지연 8.7, Throughput 2.30).
• 재학습 없이 N=60, L=20에서 테스트한 결과 DGN는 평균 보상 0.73를 기록하며 Floyd with BL 및 과부하 상황에서 성능이 저하된 MFQ를 초월했다.
• DGN 에이전트들은 필요에 따라 대체 경로를 선택함으로써 혼잡을 피하는 전략적 협동을 학습했으며, 최단 경로 라우팅을 초월한 전략적 협동을 보였다.
• 제거 실험을 통해 그래프 컬러션, 관계 커널, 시간적 정규화가 성능 향상에 각각 뚜렷한 기여를 했다.
• 재학습 없이도 N=140에 대해 효과적으로 일반화되어 강력한 확장성과 에이전트 수 증가에 대한 강건성을 입증했다.