[논문 리뷰] Multi-agent navigation based on deep reinforcement learning and traditional pathfinding algorithm

Hongda Qiu|arXiv (Cornell University)|2020. 12. 05.

Robotic Path Planning Algorithms참고 문헌 23인용 수 5

한 줄 요약

이 논문은 복잡하고 동적인 환경에서 다중 에이전트 탐색 및 충돌 회피 문제를 해결하기 위해 딥 강화학습(DRL)과 전통적인 경로 탐색 알고리즘을 융합한 하이브리드 프레임워크를 제안한다. DRL을 활용해 실시간 의사결정을 학습하면서 A* 알고리즘을 통해 전역 경로 계획을 수행함으로써, 재학습 없이도 다양한 시나리오에서 높은 성공률, 낮은 경로 비용(EDP) 및 우수한 일반화 능력을 달성하며 특히 스케일링에 유리하다.

ABSTRACT

We develop a new framework for multi-agent collision avoidance problem. The framework combined traditional pathfinding algorithm and reinforcement learning. In our approach, the agents learn whether to be navigated or to take simple actions to avoid their partners via a deep neural network trained by reinforcement learning at each time step. This framework makes it possible for agents to arrive terminal points in abstract new scenarios. In our experiments, we use Unity3D and Tensorflow to build the model and environment for our scenarios. We analyze the results and modify the parameters to approach a well-behaved strategy for our agents. Our strategy could be attached in different environments under different cases, especially when the scale is large.

연구 동기 및 목표

• 고밀도의 다중 에이전트 환경에서 확장 가능하고 충돌 없는 다중 에이전트 탐색 문제를 해결하기 위해.
• 순수 강화학습이 새로운 환경에서 샘플 효율성과 일반화 능력에 어려움을 겪는 한계를 극복하기 위해.
• 기존 경로 탐색(A*)과 딥 강화학습을 융합하여 다중 에이전트 시스템의 신뢰성과 효율성을 향상시키기 위해.
• 재학습 없이도 다양한 환경과 에이전트 수에 대해 일반화 가능한 전략을 개발하기 위해.

제안 방법

• 프레임워크는 강화학습을 통해 탐색 정책을 학습하는 딥 Q 네트워크(DQN)를 사용하며, 에이전트는 사전 계산된 A* 경로를 따를지 또는 회피 행동을 취할지를 결정한다.
• 각 타임스텝에서 DRL 에이전트는 자신의 상태를 평가하고, 관측된 8차원 거리 센서 데이터를 기반으로 학습된 정책에 따라 행동(예: 이동, 회피)을 취한다.
• A* 알고리즘은 사전에 충돌 없는 전역 경로를 생성하며, 이는 DRL 에이전트가 국소적 결정을 최적화하기 위한 기준으로 사용된다.
• 4개 또는 8개의 완전 연결 층을 가진 다층 퍼셉트론(MLP)이 상태 입력을 처리하고 DRL 정책의 행동 확률을 출력한다.
• 보상 함수는 목표에 신속히 도달하도록 유도하면서 충돌과 과도한 경로 이탈에 대해 벌점을 주도록 설계된다.
• 시스템은 Unity3D에서 Tensorflow를 사용해 훈련되었으며, 사각형 벽, 무작위 장애물, 원형 운반 환경 등 다양한 시나리오를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 다양한 에이전트 밀도와 환경에서 순수 강화학습에 비해 하이브리드 DRL 및 경로 탐색 접근 방식이 더 우수한 성능을 보일 수 있는가?
• RQ2 훈련된 정책이 재학습 없이도 새로운 시나리오에 잘 일반화되는가?
• RQ3 A* 경로 탐색과 DRL을 융합하면 종래의 엔드 투 엔드 RL에 비해 샘플 효율성과 수렴 속도가 향상되는가?
• RQ4 신경망의 깊이(4개 대비 8개의 FC 층)가 정책 성능과 안정성에 어떤 영향을 미치는가?
• RQ5 복잡하고 혼잡한 환경에서 에이전트 수가 증가함에 따라 이 방법은 어떻게 스케일링되는가?

주요 결과

• 기본 시나리오에서 제안된 방법은 N=40일 때 98.4%의 성공률과 EDP 0.516 ± 0.218을 기록하여 순수 RL 방법(98.3% 성공, EDP 0.573 ± 0.236)을 초월했다.
• N=200일 때는 8개의 FC 층을 사용한 방법이 96.1%의 성공률(EDP 0.866 ± 0.425)을 기록했고, 순수 RL은 성공률이 53.2%로 급격히 하락했다.
• 교차로 시나리오에서는 N=40일 때 99.9%의 성공률, N=160일 때 92.3%의 성공률을 기록했으며 충돌률은 거의 0에 가까웠다.
• 사각형 벽 시나리오에서는 N=30일 때 96.9%의 성공률(충돌률 3%)을 기록했고, 순수 RL은 36%의 충돌률을 보였다.
• 기본 시나리오에서 훈련된 정책는 새로운 시나리오(예: 원형 운반, 무작위 장애물)로 일반화되며, 교차로 시나리오에서는 99.9%의 성공률, RO-N=120 시나리오에서는 96.0%의 성공률을 기록했다.
• 이 방법은 다양한 지도 유형과 에이전트 수에 걸쳐 강력한 내성성을 보였으며, 순수 RL보다 항상 낮은 EDP와 충돌률을 기록했다.