[논문 리뷰] Mean Field Games Flock! The Reinforcement Learning Way

Sarah Perrin, Mathieu Laurière외 4명|arXiv (Cornell University)|2021. 05. 17.

Reinforcement Learning in Robotics참고 문헌 2인용 수 8

한 줄 요약

이 논문은 다중 에이전트 떼어내기의 고차원 평균장 게임을 해결하기 위해 허구적 플레이, 정규화 플로우, 소프트 액터-크리틱을 조합한 딥 강화학습 방법인 Flock'n RL을 제안한다. 이는 복잡한 구조나 장애물이 존재하는 환경에서도 대규모 인구의 분산형 공감을 가능하게 하며, 최소한의 구조적 가정 하에 6차원 상태 공간에서도 안정적인 떼어내기 행동을 달성한다.

ABSTRACT

We present a method enabling a large number of agents to learn how to flock, which is a natural behavior observed in large populations of animals. This problem has drawn a lot of interest but requires many structural assumptions and is tractable only in small dimensions. We phrase this problem as a Mean Field Game (MFG), where each individual chooses its acceleration depending on the population behavior. Combining Deep Reinforcement Learning (RL) and Normalizing Flows (NF), we obtain a tractable solution requiring only very weak assumptions. Our algorithm finds a Nash Equilibrium and the agents adapt their velocity to match the neighboring flock's average one. We use Fictitious Play and alternate: (1) computing an approximate best response with Deep RL, and (2) estimating the next population distribution with NF. We show numerically that our algorithm learn multi-group or high-dimensional flocking with obstacles.

연구 동기 및 목표

• 최소한의 구조적 가정 하에 대규모 에이전트 집단에서 확장 가능하고 분산형 떼어내기 행동을 달성하는 데 도전한다.
• 고차원 또는 복잡한 구조를 가진 상태 공간에서 기존 평균장 게임 해법의 계산 불가능성을 극복한다.
• 환경의 동역학을 완전히 알지 못해도 다중 에이전트 떼어내기 시나리오에서 나시 균형을 학습할 수 있는 모델-프리 강화학습 접근법을 개발한다.
• 기존의 PDE 기반 방법이 실패하는 고차원 환경에서 다중 그룹 떼어내기 및 장애물 회피를 가능하게 한다.
• 어려운 수치적 환경에서 근사 가능한 탐색 가능성과 성능 행렬을 사용하여 해의 품질을 평가한다.

제안 방법

• 각 에이전트의 보상이 인구 집단의 상태 및 속도의 경험적 분포에 의존하는 평균장 게임으로 떼어내기 문제를 공식화한다.
• 허구적 플레이는 딥 강화학습(소프트 액터-크리틱)을 통한 근사 최적 반응 계산과 정규화 플로우를 사용한 다음 인구 분포 추정을 번갈아 수행한다.
• 정규화 플로우는 고차원 상태 공간에서 변화하는 인구 분포를 효율적으로 표현하고 업데이트하는 데 사용된다.
• 보상 함수는 이웃 에이전트 속도의 가중 평균 기반의 속도 정렬 항을 포함하며, 비율 β는 접근성에 대한 민감도를 조절한다.
• 알고리즘은 시스템의 동역학을 명시적으로 알 필요 없이 환경 상호작용 외에 요구하지 않는 모델-프리 방식으로 훈련된다.
• 충돌 페널티와 반사 메커니즘을 보상 함수에 통합하여 장애물을 다루는 데 확장된다.

실험 결과

연구 질문

• RQ1 기존 PDE 기반 MFG 해법이 실패하는 고차원 상태 공간에서 딥 강화학습 접근법이 안정적이고 분산형 떼어내기 행동을 달성할 수 있는가?
• RQ2 허구적 플레이는 어떻게 딥 강화학습과 정규화 플로우를 조합하여 대규모 인구와 복잡한 구조로 확장할 수 있는가?
• RQ3 시작 시 랜덤 초기 속도를 가진 상황에서도 서로 다른 이동 방향을 가진 다중 그룹 떼어내기 행동을 지원할 수 있는가?
• RQ4 장애물이 많고 부드럽지 않은 기하학적 구조를 가진 환경에서 성능과 수렴성이 어느 정도 유지되는가?
• RQ5 기본 해가 없는 상황에서 탐색 가능성과 성능 행렬과 같은 지표를 사용해 해의 품질을 어떻게 평가할 수 있는가?

주요 결과

• Flock'n RL 알고리즘은 6차원 환경에서 다중 그룹 떼어내기 행동을 성공적으로 학습하였으며, β=100일 경우 에이전트가 반대 방향으로 그룹으로 나뉘는 것을 관찰했다.
• β=0일 경우, 메서드는 일관되게 전역 공감을 달성하여 알고리즘이 보상 구조에 적응하고 떼어내기 행동을 유지함을 보여주었다.
• 장애물이 많은 환경에서는 에이전트가 복잡한 경로를 따라 이동하며 충돌을 피하고 안정적인 떼어내기 행동을 달성하였다.
• 근사 탐색 가능성은 시간이 지남에 따라 감소하여 나시 균형 수렴을 나타내었으며, 장애물 회피 시나리오에서 더 빠른 수렴이 관찰되었다.
• 메서드는 비연속 경계와 장애물이 포함된 복잡한 구조로 일반화되었으며, 기존 PDE 기반 MFG 해법이 처리할 수 없는 영역을 다룰 수 있었다.
• 다양한 랜덤 시드는 서로 다른 유효한 해를 생성하였으며, 이는 복잡한 환경에서 다양한 고성능 경로를 탐색할 수 있음을 확인시켰다.