[논문 리뷰] Learning Control Admissibility Models with Graph Neural Networks for Multi-Agent Navigation

Chenning Yu, Hongzhan Yu외 1명|arXiv (Cornell University)|2022. 10. 17.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 다중 에이전트 주행에서 충돌 회피와 목표 도달을 분리하여, 그래프 신경망을 사용해 안전하고 실행 가능한 동작 집합을 학습하는 제어 허용 모델(CAMs)을 제안한다. 희소 보상과 역전파 기반 재라벨링을 통해 훈련되며, 에이전트 수에 관계없이 일반화되어 수백 명의 에이전트가 포함된 고밀도 환경에서도 높은 성공률과 낮은 충돌률을 달성한다. 기존 최고 수준의 방법들을 능가하며, 추적 게임과 같은 새로운 작업으로의 제로샷 전이를 가능하게 한다.

ABSTRACT

Deep reinforcement learning in continuous domains focuses on learning control policies that map states to distributions over actions that ideally concentrate on the optimal choices in each step. In multi-agent navigation problems, the optimal actions depend heavily on the agents' density. Their interaction patterns grow exponentially with respect to such density, making it hard for learning-based methods to generalize. We propose to switch the learning objectives from predicting the optimal actions to predicting sets of admissible actions, which we call control admissibility models (CAMs), such that they can be easily composed and used for online inference for an arbitrary number of agents. We design CAMs using graph neural networks and develop training methods that optimize the CAMs in the standard model-free setting, with the additional benefit of eliminating the need for reward engineering typically required to balance collision avoidance and goal-reaching requirements. We evaluate the proposed approach in multi-agent navigation environments. We show that the CAM models can be trained in environments with only a few agents and be easily composed for deployment in dense environments with hundreds of agents, achieving better performance than state-of-the-art methods.

연구 동기 및 목표

• 에이전트 밀도가 다양할 때 일반화 문제를 해결하기 위해, 표준 강화학습 정책이 분포 이탈로 인해 실패하는 상황을 해결한다.
• 목표 도달과 충돌 회피를 분리함으로써 환경에 특화된 복잡한 보상 설계가 필요 없도록 한다.
• 최적의 동작이 아닌 허용 동작의 집합론적 표현을 학습함으로써 조합적이고 확장 가능한 추론을 가능하게 한다.
• 희소 보상과 역전파 기반 재라벨링을 활용한 훈련 방법을 개발하여 전이 상태에서 풍부한 정보를 추출한다.
• GNN 기반 CAMs를 통해 이전에 학습한 안전 제약을 활용해, 추적 게임과 같은 근본적으로 다른 작업으로의 제로샷 전이를 가능하게 한다.

제안 방법

• 이 방법은 에이전트의 개별 상태 그래프를 입력으로 받아 허용 동작 집합을 출력하는 그래프 신경망으로 표현된 제어 허용 모델(CAMs)을 도입한다.
• CAMs 는 희소 보상과 역전파를 통한 새로운 재라벨링 기법을 사용한 모델 프리 없는 강화학습 설정에서 훈련된다. 이는 샘플 효율성을 향상시킨다.
• 추론 중에는 상태 그래프가 더 작은 부분 그래프로 분해되며, CAMs 가 에이전트 간에 조합되어 확장 가능하고 분산된 동작 선택을 가능하게 한다.
• 안전성과 작업 목표를 분리하기 위해 단순한 목표 도달 선호 함수를 CAM 과 함께 사용한다.
• GNN 아키텍처는 국소적 에이전트 상호작용을 처리하여 충돌 회피에 필수적인 복잡한 비선형 상호작용 패턴을 포착할 수 있다.
• 추론 시 그래프 분해 기법은 공변수 이탈을 완화하여, 소수의 에이전트(예: 3명)에서 훈련된 모델이 고밀도 배치(예: 512명의 에이전트)로도 일반화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 희소한 보상과 역전파 기반 재라벨링을 사용한 학습 기반 방법이, 재훈련 없이도 다수의 에이전트 밀도에서 일반화 가능한가?
• RQ2 충돌 회피를 목표 도달 목적에서 분리하여 보상 설계의 복잡성을 줄일 수 있는가?
• RQ3 허용 동작의 집합론적 표현이 대규모 다중 에이전트 시스템에서 확장 가능하고 조합 가능한 추론을 가능하게 하는가?
• RQ4 희소 데이터에서 훈련하고 역전파 기반 재라벨링을 사용한 GNN 기반 CAM 이 고밀도의 미사용 환경에서 높은 성능을 달성하는가?
• RQ5 학습된 CAM 이 추적 게임과 같이 근본적으로 다른 작업으로 제로샷 전이가 가능한가?

주요 결과

• 최대 3명의 에이전트에서 훈련된 CAMs 는 512명의 에이전트가 포함된 고밀도 환경에 배포되었을 때 99%의 안전률과 98.9%의 성공률을 기록했으며, 기준 방법들보다 뚜렷이 뛰어나다.
• 자동차 환경에서는 그래프 분해 기법을 사용한 CAM 이 안전률 0.99 ± 0.00, 보상 3.10 ± 1.20 을 달성했고, 분해 없이 사용한 경우는 각각 0.90 ± 0.03 과 -19.98 ± 7.08 이었다.
• 드론 추적 게임 환경(64명의 에이전트)에서 CAM 방법은 98.9%의 안전률과 6.84 ± 1.12 의 보상을 기록하여 새로운 작업으로의 효과적인 제로샷 전이를 입증했다.
• 512명의 에이전트에서 안전률이 감소하는 실패 모드는 연속된 상태에서 음수의 CAM 값으로 기인했으며, 이는 타당한 동작 수가 부족함을 시사한다. 이는 고밀도 군집에서의 전역적 조율의 필요성을 강조한다.
• 특히 2차원 자동차 환경에서, 고밀도 상황에서의 성능 향상이 뚜렷했으며, 이는 훈련 조건과의 구조적 차이가 클수록 효과가 크기 때문이다.
• 전문가 지시나 보상 형태 조정 없이도 높은 성능를 달성했으며, 희소 보상과 역전파 기반 재라벨링을 통해 효과적인 학습이 가능했다.