[논문 리뷰] Learning-Based UAV Trajectory Optimization with Collision Avoidance and Connectivity Constraints

Xueyuan Wang, M. Cenk Gursoy|arXiv (Cornell University)|2021. 04. 03.

UAV Applications and Optimization참고 문헌 30인용 수 4

한 줄 요약

이 논문은 다중 UAV의 궤적 최적화를 위한 탈중앙화된 딥 강화학습 프레임워크를 제안하며, 충돌 회피와 지상 기지국(GPS)에 대한 무선 연결유지 보장을 보장한다. 실시간 SINR 측정값을 사용하는 시간-도착 예측을 위한 가치 네트워크와 SINR 예측 신경망을 통합함으로써, 동적 연결성과 장애물 제약 조건이 존재하는 다양한 환경에서 실시간으로 높은 성공률을 달성하는 항법이 가능해진다.

ABSTRACT

Unmanned aerial vehicles (UAVs) are expected to be an integral part of wireless networks, and determining collision-free trajectories for multiple UAVs while satisfying requirements of connectivity with ground base stations (GBSs) is a challenging task. In this paper, we first reformulate the multi-UAV trajectory optimization problem with collision avoidance and wireless connectivity constraints as a sequential decision making problem in the discrete time domain. We, then, propose a decentralized deep reinforcement learning approach to solve the problem. More specifically, a value network is developed to encode the expected time to destination given the agent's joint state (including the agent's information, the nearby agents' observable information, and the locations of the nearby GBSs). A signal-to-interference-plus-noise ratio (SINR)-prediction neural network is also designed, using accumulated SINR measurements obtained when interacting with the cellular network, to map the GBSs' locations into the SINR levels in order to predict the UAV's SINR. Numerical results show that with the value network and SINR-prediction network, real-time navigation for multi-UAVs can be efficiently performed in various environments with high success rate.

연구 동기 및 목표

• 공유된 천공에서 다중 UAV를 조정하는 과제를 해결하면서 충돌을 피하고 지상 기지국(GPS)에 안정적인 연결을 유지하는 것.
• 다중 UAV 궤적 최적화 문제를 이산 시간에서의 순차적 의사결정 문제로 재구성하여 실시간 제어를 가능하게 하는 것.
• 전체 상태 지식이 필요 없이 국소 관측에 기반해 UAV가 행동할 수 있도록 탈중앙화된 학습 프레임워크를 설계하는 것.
• 다양한 환경 조건, 즉 다양한 UAV 고도, GBS 안테나 패턴, 장애물/금지비행구역 등에서도 견고한 성능을 확보하는 것.
• 실제 무선 연결 제약 조건 하에서 충돌, 단절, 임무 완료 시간을 최소화하면서 높은 항법 성공률을 달성하는 것.

제안 방법

• 다중 UAV 궤적 문제를 이산 시간에서의 순차적 의사결정 과제로 재구성하여 시간 계획 수립과 동작 선택을 가능하게 하는 것.
• 자기 상태, 인근 에이전트의 위치, GBS 위치를 포함한 에이전트의 공동 상태를 기반으로 도착까지의 예상 시간을 추정하는 가치 네트워크를 개발하는 것.
• 상호작용 중에 수집한 누적 SINR 측정값을 사용하여 GBS 위치에서 예측된 SINR 수준으로 매핑하는 SINR 예측 신경망을 설계하는 것.
• 임무 완료 시간, 연결 유지, 충돌 회피를 균형 잡는 보상 함수를 사용하여 에이전트를 딥 강화학습 알고리즘으로 훈련시키는 것.
• 훈련 설정과 다른 GBS 배치 조건에서도 학습된 SINR 예측과 가치 기반 동작 선택을 통해 새로운 환경으로의 일반화를 가능하게 하는 것.
• 장애물이 많은 환경이나 금지비행구역 환경에서의 항법을 지원하기 위해 장애물을 공동 상태 관측에서 정적 에이전트로 모델링하여 정책이 동적으로 적응할 수 있도록 하는 것.

실험 결과

연구 질문

• RQ1 탈중앙화된 딥 강화학습 접근법이 충돌 회피와 지속적인 GBS 무선 연결 유지를 보장하면서 다중 UAV 궤적 최적화에 효과적으로 작용할 수 있는가?
• RQ2 학습 기간 동안 관측하지 않은 다양한 GBS 배치, UAV 고도, 안테나 복사 패턴을 가진 환경에 대해 제안된 방법이 얼마나 잘 일반화되는가?
• RQ3 SINR 예측 네트워크가 GBS 위치에서 신호 품질을 정확하게 추정함으로써 연결성 인식 항법을 얼마나 향상시킬 수 있는가?
• RQ4 장애물이나 금지비행구역을 포함한 복잡한 상황에서의 시스템 성능은 어떠한가? UAV 수가 증가함에 따라 높은 성공률을 유지할 수 있는가?
• RQ5 UAV 수가 증가함에 따라 임무 완료 시간, 충돌률, 단절률, 확장성 간의 상충 관계는 어떠한가?

주요 결과

• 제안된 RLTCW-SP 알고리즘은 2에이전트 시나리오에서 성공률(SR) 93.02%를 기록했으며, 충돌률(CR)은 4%, 단절률(DR)은 0.06%였다.
• 5에이전트 항법에서는 성공률이 여전히 91.12%로 높았고, 에이전트 밀도 증가와 관측 가능성 감소로 인해 약간 증가한 충돌률 6.32%를 기록했다.
• 8에이전트 시나리오에서는 성공률이 90.075%였으며, 평균 임무 시간은 1.28초로 증가하여 더 많은 상호작용으로 인한 복잡성 증가를 반영했다.
• SINR 예측 네트워크는 정확한 연결성 추정을 가능하게 하여 UAV가 GBS 위치와 안테나 패턴에 기반한 변화하는 커버리지 영역에 맞춰 궤적을 적응시킬 수 있도록 했다.
• 이 프레임워크는 새로운 환경으로의 일반화가 잘 이루어졌으며, 다양한 UAV 고도(50m 대비 100m), 빔폭(15° 대비 35°), 하향 각도(10° 대비 15°)에서도 UAV가 높은 연결성과 낮은 충돌률을 유지하며 성공적으로 항법했다.
• 장애물과 금지비행구역은 공동 상태에서 정적 에이전트로 모델링되어 정책이 이를 회피하면서도 연결성을 유지하고 경로 길이를 최소화할 수 있도록 했다.