[논문 리뷰] Visual Exploration and Energy-aware Path Planning via Reinforcement Learning

Amir Niaraki, Jeremy Roghair외 1명|arXiv (Cornell University)|2019. 09. 26.

Robotic Path Planning Algorithms참고 문헌 30인용 수 5

한 줄 요약

이 논문은 자율 드론에서 에너지 효율적인 시각 탐색 및 경로 계획을 위한 강화학습 기반 접근법을 제안한다. 바람에 의한 저항을 적응형 음성 보상으로 모델링하여 객체 탐지 정확도와 배터리 수명을 동적으로 균형 잡는다. 시뮬레이션 결과, 고속 바람 조건에서 완전 탐색 계획 대비 최대 4배 더 많은 목표물을 탐지했으며, 2D 및 3D 비행 시나리오에서 경로 효율성과 커버리지가 향상되어 기준 방법을 초월했다.

ABSTRACT

Visual exploration and smart data collection via autonomous vehicles is an attractive topic in various disciplines. Disturbances like wind significantly influence both the power consumption of the flying robots and the performance of the camera. We propose a reinforcement learning approach which combines the effects of the power consumption and the object detection modules to develop a policy for object detection in large areas with limited battery life. The learning model enables dynamic learning of the negative rewards of each action based on the drag forces that is resulted by the motion of the flying robot with respect to the wind field. The algorithm is implemented in a near-real world simulation environment both for the planar motion and flight in different altitudes. The trained agent often performed a trade-off between detecting the objects with high accuracy and increasing the area coverage within its battery life. The developed exploration policy outperformed the complete coverage algorithm by minimizing the traveled path while finding the target objects. The performance of the algorithms under various wind fields was evaluated in planar and 3D motion. During an exploration task with sparsely distributed goals and within a UAV's battery life, the proposed architecture could detect more than twice the amount of goal objects compared to the coverage path planning algorithm in moderate wind field. In high wind intensities, the energy-aware algorithm could detect 4 times the amount of goal objects when compared to its complete coverage counterpart.

연구 동기 및 목표

• 대규모 영역 시각 탐색 중 제한된 배터리 수명으로 인한 문제를 해결하기 위해.
• 전력 소비와 객체 탐지 성능을 통합된 강화학습 정책에 통합하기 위해.
• 비행 중 에너지 효율성을 향상시키기 위해 바람에 의한 저항력을 동적 보상으로 모델링하기 위해.
• 목표물 탐지 수를 극대화하고 이동 거리 및 에너지 소비를 최소화하는 경로 계획 최적화하기 위해.
• 평면 및 3D 비행 환경에서 다양한 바람 조건 하에서 성능 평가하기 위해.

제안 방법

• 딥 Q네트워크(DQN) 강화학습 프레임워크를 사용하여, 시각적 및 환경 상태 관측값 기반으로 행동을 선택하는 에이전트를 훈련시킨다.
• 바람에 의한 저항력은 동적 음성 보상으로 모델링되며, 바람장에 대한 운동 상대성에 따라 학습 신호가 조정된다.
• 상태 공간은 위치, 속도, 바람 벡터, 및 CNN 기반 탐지기로부터의 객체 탐지 신뢰도를 포함한다.
• 행동 공간은 2D 및 3D 운동에서 속도 및 방향에 대한 이산적 제어 입력으로 구성된다.
• 보상 함수는 객체 탐지 정확도, 경로 효율성, 에너지 비용을 통합하며, 바람에 의존하는 페널티가 포함된다.
• 다양한 바람 강도와 목표 분포를 가진 근사 실시간 시뮬레이션 환경에서 훈련이 수행된다.

실험 결과

연구 질문

• RQ1 강화학습을 어떻게 활용하여 드론 탐색에서 객체 탐지 정확도와 에너지 효율성을 균형 잡을 수 있는가?
• RQ2 바람에 의한 저항력을 동적 보상으로 모델링할 경우 경로 계획 성능에 얼마나 큰 영향을 미치는가?
• RQ3 목표물 탐지 및 에너지 소비 측면에서 제안된 방법은 완전 탐색 경로 계획 대비 어떻게 비교되는가?
• RQ4 바람 강도가 에너지 효율적 탐색 정책의 성능에 어떤 영향을 미치는가?
• RQ5 2D 및 3D 비행에서 다양한 바람장과 목표 분포에 대해 에이전트가 일반화 가능한가?

주요 결과

• 중간 정도의 바람 환경에서 제안된 방법은 완전 탐색 경로 계획 알고리즘보다 목표 물체를 두 배 이상 더 많이 탐지했다.
• 고속 바람 조건에서 에너지 효율적 알고리즘은 탐색 기반 기준 방법보다 네 배 더 많은 목표물을 탐지했다.
• 에이전트는 영역 커버리지와 에너지 효율성 사이에 뚜렷한 트레이드오프를 달성하여 경로 길이를 단축하면서도 높은 탐지 정확도를 유지했다.
• 모델은 다양한 바람 조건에서 뛰어난 강건성을 보였으며, 적응형 보상 설계를 통해 성능 저하를 최소화했다.
• 시뮬레이션 결과는 보상 함수에 바람 역학을 통합함으로써 장기적인 에너지 효율성과 탐지 수확량이 향상됨을 확인했다.
• 특히 흩어진 목표 분포 조건에서 2D 및 3D 운동 시나리오에서 기준 탐색 전략에 비해 제안된 방법이 뛰어난 성능을 보였다.