[논문 리뷰] Multi-UAV Adaptive Path Planning Using Deep Reinforcement Learning

Jonas Westheider, Julius Rückin외 1명|arXiv (Cornell University)|2023. 03. 02.

Robotic Path Planning Algorithms인용 수 5

한 줄 요약

이 논문은 3D 지형 모니터링에서 협동적 정보성 경로 계획을 해결하기 위해 반사적 다중에이전트 정책 기울기(Counterfactual Multi-Agent Policy Gradients)를 사용하는 딥 강화학습 기반의 다중 UAV 경로 계획 프레임워크를 제안한다. 새로운 3D 인지 네트워크 특징과 명시적 크레딧 할당을 도입함으로써, 재학습 없이도 팀 크기와 통신 제약 조건에 걸쳐 일반화가 가능하고, 비학습 기반 기준보다 더 빠르고 효율적인 관심 영역 매핑을 달성한다.

ABSTRACT

Efficient aerial data collection is important in many remote sensing applications. In large-scale monitoring scenarios, deploying a team of unmanned aerial vehicles (UAVs) offers improved spatial coverage and robustness against individual failures. However, a key challenge is cooperative path planning for the UAVs to efficiently achieve a joint mission goal. We propose a novel multi-agent informative path planning approach based on deep reinforcement learning for adaptive terrain monitoring scenarios using UAV teams. We introduce new network feature representations to effectively learn path planning in a 3D workspace. By leveraging a counterfactual baseline, our approach explicitly addresses credit assignment to learn cooperative behaviour. Our experimental evaluation shows improved planning performance, i.e. maps regions of interest more quickly, with respect to non-counterfactual variants. Results on synthetic and real-world data show that our approach has superior performance compared to state-of-the-art non-learning-based methods, while being transferable to varying team sizes and communication constraints.

연구 동기 및 목표

• 대규모 비균질 지형 모니터링 환경에서 UAV 팀의 협동적, 적응형 경로 계획 문제를 해결한다.
• 목표의 균일한 분포를 가정하고 관심 영역을 우선시하지 못하는 비적응형, 정적 경로 계획 방법의 한계를 극복한다.
• 도착 센서 데이터와 동적 환경 인식 기반 실시간 탈중앙화 의사결정을 가능하게 하여 계획 효율성을 향상시킨다.
• 다중에이전트 강화학습에서의 크레딧 할당 문제를 명시적으로 해결하여 공동 임무 목표 달성 시 협업과 성능을 향상시킨다.
• 재학습 없이도 다양한 팀 크기와 통신 범위에 걸쳐 훈련된 정책의 일반화 능력을 입증하여 실세계 적용에 넓은 적용 가능성을 확보한다.

제안 방법

• UAV 간 협동 행동의 안정적이고 효과적인 학습을 가능하게 하기 위해, 크레딧 할당 문제를 명시적으로 해결하기 위해 반사적 다중에이전트 정책 기울기(COMA)를 사용한다.
• 지형 상태, UAV 위치, 센서 측정치를 3D 작업공간에 인코딩하는 새로운 3D 인지 신경망 입력 표현을 설계하여 공간적 추론 능력을 향상시킨다.
• 각 UAV가 국소 관측치와 이웃과의 제한된 통신에 기반해 행동을 선택하는 탈중앙화된 차량 내 의사결정 아키텍처를 사용한다.
• 합성 데이터를 사용한 시뮬레이션 환경에서 희박한 보상(지도 엔트로피 감소 및 F1 점수 향상 기반)을 사용해 정책 네트워크를 딥 강화학습으로 훈련시킨다.
• 최소 간격 및 임무 지속 시간과 같은 제약 조건을 준수하기 위해 액션 마스킹을 적용하여 실현 가능하고 안전한 UAV 경로를 보장한다.
• 특정 에이전트가 다른 행동을 선택했을 경우의 기대 수익을 추정하기 위해 반사적 기준을 활용하여 정확한 크레딧 할당과 안정적인 정책 업데이트를 가능하게 한다.

Figure 1 : Our RL-based approach applied in a multi- UAV surface temperature mapping scenario. The UAVs take images of the terrain (white transparent) and communicate them (grey dashed arrows). Based on locally available information, each UAV decides from a set of actions (orange arrows) where to ta

실험 결과

연구 질문

• RQ1 반사적 크레딧 할당을 통한 딥 강화학습은 비학습 기반 방법에 비해 다중 UAV 지형 모니터링에서 협동 경로 계획 성능을 향상시키는가?
• RQ2 제안된 3D 인지 네트워크 특징 표현은 복잡한 3D 환경에서 효율적이고 정확한 경로 계획을 가능하게 하는가?
• RQ3 훈련된 정책이 재학습 없이 다양한 팀 크기와 통신 범위에 걸쳐 일반화되는 정도는 어느 정도인가?
• RQ4 반사적 기준의 사용이 협동 행동 향상과 전체 임무 효율성 향상에 측정 가능한 기여를 하는가?
• RQ5 합성 데이터에서 훈련된 정책이 실세계 UAV 데이터 수집 작업(예: 열화상 표면 매핑)으로 성공적으로 전이 가능한가?

주요 결과

• 4기지 팀 전통신 시나리오에서 제안된 방법은 평균 F1 점수 0.7524 ± 0.0465를 달성하여 비학습 기반 기준(0.7606 ± 0.0306)과 커버리지 기준을 능가했다.
• 실세계 온도 매핑 시나리오에서 RL 기반 접근 방식은 IG, 무작위 및 커버리지 방법보다 더 효과적으로 지ap 엔트로피를 감소시켜, 합성 데이터에서 훈련된 후에도 뛰어난 실세계 전이 성능을 입증했다.
• 재학습 없이도 팀 크기(2, 4, 8기지)와 통신 반경(0 m, 25 m, 무제한)에 걸쳐 일반화되었으며, 기준보다 일관된 성능 향상을 유지했다.
• 반사적 크레딧 할당 메커니즘이 협동 행동 향상을 이끌었으며, 비반사적 변형 대비 더 빠른 엔트로피 감소와 높은 F1 점수로 이를 입증했다.
• 4기지 전통신 설정에서 평균 AUSE(Area Under the Sparsification Error curve)는 0.7428 ± 0.0276를 기록하여 희박한 데이터 수집 시 정보 손실 최소화 능력이 뛰어나다는 것을 나타냈다.
• 특히 초기 임무 단계에서 라운드 몰리 커버리지 및 무작위 탐색과 같은 비적응 전략에 비해 유의미하게 뛰어난 성능을 보였으며, 이는 높은 정보량 영역에 동적으로 집중할 수 있는 능력 덕분이었다.

Figure 2 : Inter- UAV communication. The UAVs (filled circles) exchange their current measurements (square footprints) with each other when closer than a limited communication range (black dotted circle). Green and dotted red lines indicate in-range and out-of-range communications, respectively. The