[논문 리뷰] Energy-aware Goal Selection and Path Planning of UAV Systems via Reinforcement Learning

Amir Ehsan Niaraki Asli, Jeremy Roghair외 1명|arXiv (Cornell University)|2019. 09. 26.

Reinforcement Learning in Robotics참고 문헌 5인용 수 6

한 줄 요약

이 논문은 풍속에 의해 영향을 받는 환경에서 에너지 효율성과 목표 탐지 정확도를 동적으로 균형 잡는 드론(UAV)을 위한 강화학습 기반 접근법을 제안한다. 항공기의 항공역학적 저항으로 인한 에너지 비용을 모델링하고 이를 보상 함수에 통합함으로써, 에이전트는 완전 탐색 알고리즘을 능가하여 강풍 조건에서도 최대 4배 더 많은 물체를 탐지하면서 경로 길이를 최소화한다.

ABSTRACT

Visual exploration and smart data collection via autonomous vehicles is an attractive topic in various disciplines. Disturbances like wind significantly influence both the power consumption of the flying robots and the performance of the camera. We propose a reinforcement learning approach which combines the effects of the power consumption and the object detection modules to develop a policy for object detection in large areas with limited battery life. The learning model enables dynamic learning of the negative rewards of each action based on the drag forces that is resulted by the motion of the flying robot with respect to the wind field. The algorithm is implemented in a near-real world simulation environment both for the planar motion and flight in different altitudes. The trained agent often performed a trade-off between detecting the objects with high accuracy and increasing the area coverage within its battery life. The developed exploration policy outperformed the complete coverage algorithm by minimizing the traveled path while finding the target objects. The performance of the algorithms under various wind fields was evaluated in planar and 3D motion. During an exploration task with sparsely distributed goals and within a UAV's battery life, the proposed architecture could detect more than twice the amount of goal objects compared to the coverage path planning algorithm in moderate wind field. In high wind intensities, the energy-aware algorithm could detect 4 times the amount of goal objects when compared to its complete coverage counterpart.

연구 동기 및 목표

• 강풍 환경에서 시각 탐색을 수행할 때 제한된 드론 배터리 수명 문제를 해결하기 위해.
• 목표 탐지 정확도와 에너지 효율성을 동시에 최적화하는 경로 계획 전략을 개발하기 위해.
• 강화학습에서 실시간 보상 재설정을 통해 풍속에 의해 발생하는 저항력에 동적으로 대응할 수 있도록 하기 위해.
• 완전 탐색 알고리즘 대비 목표 탐지율과 경로 효율성 측면에서 뛰어난 성능을 내기 위해.

제안 방법

• 딥 강화학습 프레임워크를 사용하여 드론 에이전트가 에너지 소비와 목표 탐지 성능 사이의 균형을 이루도록 훈련한다.
• 보상 함수는 드론의 바람에 대한 상대 속도에서 계산된 저항력 기반의 음수 보상을 포함한다.
• 알고리즘은 평면 및 3차원 비행 역학을 지원하는 근사 실시간 시뮬레이션 환경에서 훈련된다.
• 에이전트는 경로 길이와 에너지 소비를 최소화하면서도 높은 확률의 목표 위치를 우선순위로 삼는 정책을 학습한다.
• 바람장 조건은 운동과 에너지 소비에 영향을 주는 동적 환경적 방해 요소로 시뮬레이션된다.
• 탐색 작업 중에 커버리지 영역, 탐지 정확도, 배터리 수명 간의 상호 교환 관계를 평가한다.

실험 결과

연구 질문

• RQ1 다양한 풍속 조건에서 에너지 소비를 최소화하면서 흩어져 있는 희소한 목표를 효율적으로 탐지할 수 있는 방법은 무엇인가?
• RQ2 에너지 제약 조건에서 목표 탐지 정확도와 경로 효율성을 동적으로 균형 잡는 데 적합한 강화학습 정책은 무엇인가?
• RQ3 바람에 의한 저항력이 실시간 경로 계획에서 드론의 에너지 소비와 탐지 성능에 어떤 영향을 미치는가?
• RQ4 고풍속 조건에서 제안된 에너지 인지 정책이 완전 탐색 알고리즘보다 목표 탐지 측면에서 얼마나 뛰어나게 성능을 냈는가?
• RQ5 에이전트는 배터리 한계 내에서 실현 가능한 비행 경로를 유지하면서도 고가치 탐지 대상을 우선순위로 삼을 수 있는가?

주요 결과

• 중간 정도의 풍속 조건에서, 제안된 에너지 인지 알고리즘이 완전 탐색 경로 계획 알고리즘보다 목표 물체를 두 배 이상 더 많이 탐지하였다.
• 고풍속 조건에서, 에너지 인지 접근 방식은 완전 탐색 방법보다 목표 물체를 4배 더 많이 탐지하였다.
• 에이전트는 높은 탐지 정확도를 유지하면서도 이동 경로 길이를 크게 줄였다.
• 실시간 바람에 의한 저항력에 따라 행동을 동적으로 조정함으로써, 알고리즘이 에너지 효율성과 탐지 성능을 성공적으로 균형 잡았다.
• 강화학습 모델은 다양한 풍속 조건에서 평면 및 3차원 비행 시나리오 모두에서 뛰어난 강건성을 보였다.
• 보상 함수에 저항 기반 에너지 페널티를 통합함으로써 더 효율적이고 적응력 있는 탐색 전략이 도출되었다.