[논문 리뷰] Learning to Recharge: UAV Coverage Path Planning through Deep Reinforcement Learning

Mirco Theile, Harald Bayerlein외 2명|arXiv (Cornell University)|2023. 09. 06.

Robotic Path Planning Algorithms인용 수 6

한 줄 요약

이 논문은 지도 기반 관측, 액션 마스킹, 할인 인자 스케줄링를 사용한 프록실 패러미터 최적화(PPO)를 활용한 딥 강화학습(DRL) 접근법을 제안한다. 이는 재충전이 가능한 전력 제약 조건 하에서 UAV 커버리지 경로 계획 문제를 해결하기 위한 것이다. 제안된 방법은 히우리스틱 기반 베이스라인을 능가하며, 다양한 지도—포함해 미리 보지 않은 지도들—에 대해 일반화 가능하고, 상태 루프를 해결하기 위해 위치 이력 정보를 활용해 장기 경로 결정을 가능하게 한다.

ABSTRACT

Coverage path planning (CPP) is a critical problem in robotics, where the goal is to find an efficient path that covers every point in an area of interest. This work addresses the power-constrained CPP problem with recharge for battery-limited unmanned aerial vehicles (UAVs). In this problem, a notable challenge emerges from integrating recharge journeys into the overall coverage strategy, highlighting the intricate task of making strategic, long-term decisions. We propose a novel proximal policy optimization (PPO)-based deep reinforcement learning (DRL) approach with map-based observations, utilizing action masking and discount factor scheduling to optimize coverage trajectories over the entire mission horizon. We further provide the agent with a position history to handle emergent state loops caused by the recharge capability. Our approach outperforms a baseline heuristic, generalizes to different target zones and maps, with limited generalization to unseen maps. We offer valuable insights into DRL algorithm design for long-horizon problems and provide a publicly available software framework for the CPP problem.

연구 동기 및 목표

• 배터리 수명 제약 조건으로 인해 중간 재충전이 필요하는 전력 제약 조건 하에서 UAV 커버리지 경로 계획 문제를 해결한다.
• 장기 임무 기간 동안 전체 커버리지 최적화를 동시에 재충전 정류장을 통합하는 DRL 프레임워크를 개발한다.
• 모델 기반 액션 마스킹과 할인 인자 스케줄링를 통해 학습 안정성과 안전성을 향상시킨다.
• 다양한 환경에서 훈련하고 위치 이력 정보를 통합함으로써 상태 루프를 해결함으로써, 새로운 지도에 대한 일반화를 가능하게 한다.
• 재현성 및 향후 UAV CPP 연구를 지원하기 위해 공개된 OpenAI Gym 호환 소프트웨어 프레임워크를 제공한다.

제안 방법

• DRL 에이전트의 전역 및 국소 지도 관측을 활용해 커버리지 경로 계획 문제를 마르코프 결정 과정(MDP)으로 수식화한다.
• 안전성 모델 기반 액션 마스킹을 구현하여 충돌을 방지하고 타당한 액션을 강제함으로써 학습 안정성과 안전성을 향상시킨다.
• 즉각적 보상과 장기적 보상 간 균형을 맞추기 위해 할인 인자 스케줄링을 적용함으로써, 에이전트가 먼저 작업을 해결하는 데 익숙해지게 하고 이후 궤적 효율성 최적화를 수행하도록 유도한다.
• 재충전 중 이전에 방문한 상태로 복귀할 수 있는 능력으로 인해 발생하는 잠재적 상태 루프를 탐지하고 해결하기 위해 에이전트의 과거 위치 이력을 통합한다.
• 다양한 지도에서 PPO 기반 DRL 에이전트를 훈련시키며, 특정 지도에 맞춰 훈련된 전용 에이전트와 10개의 지도에서 훈련된 다중 지도 일반화 에이전트(Multi10)를 포함한다.
• 비교를 위해 모델 기반 탐욕 히우리스틱을 베이스라인으로 사용하며, 다양한 지도에서 완료까지 걸린 단계 수와 작업 완료 비율을 평가한다.

실험 결과

연구 질문

• RQ1 DRL 기반 접근법이 재충전 기능이 있는 장기 경로, 전력 제약 조건 하에서 UAV 커버리지 경로 계획 문제를 효과적으로 해결할 수 있는가?
• RQ2 에너지 제약 조건 하에서 UAV 경로 계획에서 액션 마스킹은 학습 안정성과 안전성에 어떻게 기여하는가?
• RQ3 할인 인자 스케줄링는 에이전트가 효율적이고 완전한 커버리지 궤적을 학습하는 데 얼마나 기여하는가?
• RQ4 위치 이력 메커니즘은 재충전 기능으로 인해 발생하는 상태 루프를 해결하는 데 얼마나 효과적인가?
• RQ5 DRL 기반 UAV 경로 계획에서 전문화(기존 지도에서 높은 성능)와 일반화(미리 보지 않은 지도에서의 성능) 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 액션 마스킹과 할인 인자 스케줄링를 적용한 제안된 PPO 기반 DRL 접근법은 경로 효율성 측면에서 히우리스틱 기반 베이스라인을 뛰어넘어, 평가된 모든 지도에서 더 짧은 궤적을 달성한다.
• 10개의 다양한 지도에서 훈련된 Multi10 에이전트는 이전에 보지 못한 Cal 지도와 Border 지도를 성공적으로 해결하여 새로운 환경에 대한 강력한 제로샷 일반화 능력을 입증한다.
• Border 지도에서 훈련된 전용 에이전트는 도전적인 Border 지도에서 평가 시나리오의 약 33%에서 작업을 완료했으며, Multi10 에이전트 역시 33%의 성공률을 기록하여 전문화되지 않은 상태에서도 강력한 일반화 능력을 보였다.
• Cal 지도에서 Multi10 에이전트는 히우리스틱보다 더 좋은 성능(617단계 대비 전용 에이전트의 435단계)을 기록했으며, 이는 전용 에이전트가 해당 지도에서 훈련된 바가 있음에도 불구하고 일반화가 높은 성능을 낼 수 있음을 시사한다.
• 아블레이션 스터디 결과 액션 마스킹, 할인 인자 스케줄링, 위치 이력 각각이 학습 성능과 작업 완료도에 상당한 기여를 한다는 것이 확인되었다.
• 연구 결과 전문화된 에이전트는 분포 내 지도에서 높은 성능을 내지만, 다중 지도 일반화 에이전트는 새로운 지도에 더 잘 일반화됨을 확인하였으며, 향후 연구에서 소수의 예시나 한 번의 예시로도 일반화를 달성할 수 있는 길을 제시한다.