[논문 리뷰] Efficient UAV Trajectory-Planning using Economic Reinforcement Learning

Alvi Ataur Khalil, Alexander J. Byrne외 2명|arXiv (Cornell University)|2021. 03. 03.

UAV Applications and Optimization참고 문헌 44인용 수 6

한 줄 요약

이 논문은 다중 에이전트 강화학습 프레임워크인 REPlanner을 제안하며, 경제적 경매 메커니즘을 활용해 UAV가 협동적으로 경로를 계획하고 작업을 효율적으로 분배할 수 있도록 한다. 경로 계획을 에이전트 간 입찰를 통해 모델링한 부분 관측 마르코프 결정 과정(POMDP)으로 간주함으로써, 표준 Q-학습 대비 33% 향상된 경로 거리 효율성, 18% 빠른 임무 완료 시간, 200% 높은 보상 획득을 달성하면서도 스웜 크기 변화에 뛰어난 내성성을 유지하고, 탈중앙화된 충돌 방지 조율을 가능하게 한다.

ABSTRACT

Advances in unmanned aerial vehicle (UAV) design have opened up applications as varied as surveillance, firefighting, cellular networks, and delivery applications. Additionally, due to decreases in cost, systems employing fleets of UAVs have become popular. The uniqueness of UAVs in systems creates a novel set of trajectory or path planning and coordination problems. Environments include many more points of interest (POIs) than UAVs, with obstacles and no-fly zones. We introduce REPlanner, a novel multi-agent reinforcement learning algorithm inspired by economic transactions to distribute tasks between UAVs. This system revolves around an economic theory, in particular an auction mechanism where UAVs trade assigned POIs. We formulate the path planning problem as a multi-agent economic game, where agents can cooperate and compete for resources. We then translate the problem into a Partially Observable Markov decision process (POMDP), which is solved using a reinforcement learning (RL) model deployed on each agent. As the system computes task distributions via UAV cooperation, it is highly resilient to any change in the swarm size. Our proposed network and economic game architecture can effectively coordinate the swarm as an emergent phenomenon while maintaining the swarm's operation. Evaluation results prove that REPlanner efficiently outperforms conventional RL-based trajectory search.

연구 동기 및 목표

• 장애물과 다수의 관심지점(POI)이 존재하는 동적 환경에서 운영되는 UAV 스웜의 탈중앙화되고 확장 가능하며 내성적인 경로 계획 도전 과제를 해결하기 위해.
• 중앙집중식이며 계산 비용이 높고 취약한 전통적 방법의 한계를 극복하기 위해, 동적 변화나 단일 장애 지점에서 실패할 경우 기능하지 못하는 방법들에 대비하기 위해.
• 직접적인 통신 없이도 UAV가 입찰 기반 메커니즘을 통해 자율적으로 작업 할당을 협상할 수 있도록 하여 조율과 효율성을 향상시키기 위해.
• 경제적 가격 설정을 가치의 대체 척도로 사용하여 개인 에이전트 보상과 글로벌 임무 목표 간 균형을 이루는 강화학습 프레임워크를 설계하기 위해.
• 경제적 영감을 받은 강화학습이 다중 UAV 경로 계획에서 표준 Q-학습을 크게 능가할 수 있음을 입증하기 위해, 특히 스웜 크기와 POI 수가 증가할수록 성능 향상이 두드러지게 나타나도록 하기 위해.

제안 방법

• 시스템은 UAV 경로 계획을 다중 에이전트 경제 게임으로 모델링하여, UAV가 경매 메커니즘을 통해 POI를 입찰함으로써 탈중앙화된 작업 분배를 가능하게 한다.
• 문제는 각 UAV가 자신의 관측에 기반하여 행동하고 강화학습을 통해 최적 정책을 학습하는 부분 관측 마르코프 결정 과정(POMDP)으로 공식화된다.
• 각 UAV는 경제적 인centive를 통합한 Q-학습 에이전트를 활용한다: 입찰는 POI 방문의 인식된 가치를 반영하며, 계약 교환을 통해 갈등을 해결하고 작업을 할당한다.
• 보상 함수는 임무 완료 속도, 경로 효율성, 연료 비용 간 균형을 맞추기 위해 설계되었으며, 경제적 가격 설정을 통해 스웜 행동의 실시간 모니터링이 가능해진다.
• 경매 메커니즘은 에이전트가 자율적으로 조직화되도록 하여 불필요한 탐색과 경쟁을 줄이고, 탐색 또는 모니터링과 같은 역할의 전문화를 가능하게 한다.
• 프레임워크는 랜덤하게 배치된 POI를 가진 확률적 환경에서 평가되었으며, UAV는 다른 이들의 순간적인 위치만 기반으로 경로를 학습하고, 전체 궤적을 알지 못한다.

실험 결과

연구 질문

• RQ1 경제적 강화학습 프레임워크는 표준 Q-학습 대비 UAV 스웜의 경로 계획 효율성을 향상시킬 수 있는가?
• RQ2 제안된 입찰 기반 조율 메커니즘은 동적이고 부분 관측 가능한 환경에서 경로 길이, 임무 완료 시간, 보상 축적에 어떤 영향을 미치는가?
• RQ3 REPlanner 프레임워크는 UAV 및 POI 수 증가에 따라 어느 정도 확장 가능한가?
• RQ4 경제적 메커니즘의 통합은 다중 에이전트 UAV 시스템에서 탈중앙화성, 내성성, 적응성 향상에 어떻게 기여하는가?
• RQ5 경제적 가격 설정은 투명하지 않은 강화학습 시스템에서 스웜 행동 모니터링과 잠재적 조율를 효과적으로 대체 척도로 사용할 수 있는가?

주요 결과

• REPlanner는 표준 Q-학습 대비 경로 거리 효율성에서 33% 향상되었으며, 특히 POI 수 대비 UAV 수 비율이 증가할수록 두드러진다.
• 경제적 변형은 모든 테스트된 스웜 크기와 POI 구성에서 임무 완료 시간을 18% 감소시켰다.
• 세 대의 UAV를 사용한 한 번의 학습 반복 후, REPlanner는 표준 Q-학습 대비 보상 획득이 200% 높았다. 이는 임무 목표 최적화가 훨씬 우수하다는 것을 시사한다.
• 경제적 Q-학습 모델은 24,000번째 에피소드에 평균 에피소드 보상(EAR)이 거의 75에 도달했고, 비경제적 변형은 -150에만 도달하여 더 빠르고 효과적인 학습을 이룬다.
• 스웜 크기가 증가함에 따라 높은 성능과 확장성을 유지했으며, 경제적 메커니즘이 중앙 집중식 제어 없이도 효율적이고 잠재적인 조율을 가능하게 한다는 것을 보여준다.
• 경매 메커니즘이 불필요한 경쟁과 충돌을 성공적으로 줄였으며, 직접적인 통신 없이도 방문하지 않은 영역나 고가치 영역에 집중할 수 있도록 했다.