[논문 리뷰] Decentralized Control with Graph Neural Networks.

Fernando Gama, Qingbiao Li외 3명|arXiv (Cornell University)|2020. 12. 29.

Advanced Graph Neural Networks참고 문헌 55인용 수 7

한 줄 요약

이 논문은 그래프 신경망(GNN) 기반의 프레임워크를 제안하여 다중 에이전트 동적 시스템에 대한 분산형 컨트롤러를 학습한다. GNN의 분산 아키텍처를 활용해 확장성과 이식 가능성을 확보한다. 중앙집중식 조율 없이도 군집 행동과 다중 에이전트 경로 계획에 효과적인 컨트롤러를 성공적으로 학습하며, 시뮬레이션에서 뛰어난 성능을 보였다.

ABSTRACT

Dynamical systems consisting of a set of autonomous agents face the challenge of having to accomplish a global task, relying only on local information. While centralized controllers are readily available, they face limitations in terms of scalability and implementation, as they do not respect the distributed information structure imposed by the network system of agents. Given the difficulties in finding optimal decentralized controllers, we propose a novel framework using graph neural networks (GNNs) to \emph{learn} these controllers. GNNs are well-suited for the task since they are naturally distributed architectures and exhibit good scalability and transferability properties. The problems of flocking and multi-agent path planning are explored to illustrate the potential of GNNs in learning decentralized controllers.

연구 동기 및 목표

• 제한된 전역 정보를 바탕으로 다중 에이전트 동적 시스템에 최적의 분산형 컨트롤러를 설계하는 데 도전한다.
• 대규모이고 분산된 에이전트 네트워크에서 중앙집중식 컨트롤러의 확장성과 구현 제약을 극복한다.
• 그래프 신경망의 인덕티브 바이어스를 활용해 국소 정보 구조를 존중하는 분산 제어 정책을 학습한다.
• 군집 행동과 경로 계획과 같은 실제 다중 에이전트 작업에서 GNN 기반 컨트롤러의 효과성을 입증한다.
• 다른 시스템 구성과 환경 간에 학습된 컨트롤러의 이식 가능성과 강건성 탐색

제안 방법

• 에이전트를 노드로, 상호작용을 간선으로 하는 그래프로 다중 에이전트 시스템을 모델링하여 GNN이 국소 이웃 정보를 처리할 수 있도록 한다.
• 국소 상태와 그래프 구조를 입력으로 받아 분산 제어 동작을 출력하는 GNN 기반 정책 네트워크를 설계한다.
• 전역 목표를 최적화하기 위해 작업에 따라 강화학습 또는 이미테이션 학습을 사용해 GNN 컨트롤러를 엔드 투 엔드로 훈련한다.
• GNN이 국소 메시지 전달 방식으로 작동하고 전역 상태 접근이 필요 없기에 설계상으로 본질적으로 분산형이 되도록 보장한다.
• 그래프 어텐션 또는 그래프 컨볼루션 레이어를 사용해 이웃 에이전트로부터의 정보를 집계하여 적응적이고 확장 가능한 의사결정을 가능하게 한다.
• 군집 행동과 다중 에이전트 경로 계획 시뮬레이션 환경에서 컨트롤러를 평가하고, 기준선 방법과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 그래프 신경망은 다중 에이전트 시스템에서 전역 조율를 달성하는 데 효과적으로 분산 제어 정책을 학습할 수 있는가?
• RQ2 중앙집중식 또는 히وري스틱 분산 컨트롤러와 비교해 GNN 기반 컨트롤러는 성능과 확장성 면에서 어떻게 다른가?
• RQ3 GNN 컨트롤러는 다양한 에이전트 수와 환경 구성에 대해 얼마나 일반화될 수 있는가?
• RQ4 부분 관측 가능성 또는 네트워크의 동적 변화 상황에서도 GNN 기반 접근은 강건성과 안정성을 유지하는가?
• RQ5 그래프 구조는 분산 제어 정책의 학습과 성능에 어떤 영향을 미치는가?

주요 결과

• GNN 기반 컨트롤러는 통신을 최소화하면서도 군집 행동 작업에서 에이전트 행동을 성공적으로 조율한다.
• 다중 에이전트 경로 계획에서 복잡한 환경에서도 충돌을 피하면서 높은 작업 성공률를 달성한다.
• 학습된 컨트롤러는 다양한 에이전트 수와 초기 구성에 걸쳐 강력한 이식 가능성을 보였다.
• GNN 접근은 시스템 크기에 따라 효과적으로 확장되며, 더 큰 에이전트 수에 대해 재훈련 없이도 성능를 유지한다.
• GNN 정책의 분산 구조는 국소 정보 부족과 통신 장애 상황에서도 강건성을 보장한다.
• 작업 완료율과 조율 지표 모두에서 전통적인 분산 제어 방법과 기준선 학습 기반 방법보다 본 프레임워크가 뛰어난 성능을 보였다.