[논문 리뷰] Indoor UAV Navigation to a Rayleigh Fading Source Using Q-Learning

Bekir Sait Çiftler, Adem Tuncer외 1명|arXiv (Cornell University)|2017. 05. 29.

UAV Applications and Optimization참고 문헌 6인용 수 9

한 줄 요약

이 논문은 깊은 흐림을 완화하기 위해 평균화된 RSS 관측치를 사용하여 레이일라이 페이딩 RF 소스(예: IoT 장치)를 향한 실내 UAV 항법을 위한 모델-프리 Q-러닝 알고리즘을 제안한다. 주요 기여는 변동 학습률과 최적화된 시간 평균 창이 수렴 시간을 크게 감소시켜 고정 학습률 및 이전 강화학습 방법을 능가한다는 점이며, 특히 공공안전 시나리오에서 중요한 낮은 UAV 속도에서 뛰어난 성능을 발휘한다.

ABSTRACT

Unmanned aerial vehicles (UAVs) can be used to localize victims, deliver first-aid, and maintain wireless connectivity to victims and first responders during search/rescue and public safety scenarios. In this letter, we consider the problem of navigating a UAV to a Rayleigh fading wireless signal source, e.g. the Internet-of-Things (IoT) devices such as smart watches and other wearables owned by the victim in an indoor environment. The source is assumed to transmit RF signals, and a Q-learning algorithm is used to navigate the UAV to the vicinity of the source. Our results show that the time averaging window and the exploration rate for the Q-learning algorithm can be optimized for fastest navigation of the UAV to the IoT device. As a result, Q-learning achieves the best performance with smaller convergence time overall.

연구 동기 및 목표

• GPS가 제공되지 않는 실내 환경에서 피해자의 RF 소스를 향한 UAV 항법 문제를 해결하기 위해, 특히 레이일라이 페이딩 조건에서의 도전 과제를 다루기 위해.
• 실내 환경에서 다중 경로 페이딩으로 인한 수신 신호 강도(RSS)의 깊은 흐림으로 인한 항법 편향을 완화하기 위해.
• 환경 또는 RSS 모델에 대한 사전 지식이 필요 없는 모델-프리 강화학습 접근법을 개발하기 위해.
• 수렴 속도 향상을 위해 Q-러닝의 핵심 파라미터인 시간 평균 창과 학습률을 최적화하기 위해.
• 공공안전에 관련된 낮은 속도 시나리오에서 특히 중요한 기존 강화학습 기반 기법과의 비교를 위해.

제안 방법

• 환경나 RSS 동역학에 대한 사전 모델이 없는 상태에서, RSS 관측치 기반으로 UAV 항법을 가능하게 하기 위해 Q-러닝 알고리즘을 사용한다.
• 보상 함수는 연속된 평균 RSS 값 간의 차이로 정의되며, 더 강한 신호 쪽으로의 이동을 장려한다.
• 레일라이 페이딩에 의한 깊은 흐림의 영향을 줄이기 위해 RSS 값은 시간 창 $ T_S $ 동안 평균화된다.
• 반응성과 수렴 속도 향상을 위해 현재 상태에 따라 동적으로 조정되는 변동 학습률이 사용된다.
• 학습 중 탐색과 이용의 균형을 이루기 위해 $ \epsilon $-그리디 탐색 전략을 사용한다.
• 충돌 감지 시뮬레이션 센서를 통해 장애물 회피를 구현하며, 벽에 부딪힐 경우 행동을 재선택한다.

실험 결과

연구 질문

• RQ1 다양한 기간 동안 RSS를 평균화할 경우, 레이일라이 페이딩 실내 환경에서 Q-러닝의 수렴 시간에 어떤 영향을 미치는가?
• RQ2 수렴 시간을 최소화하기 위해, 고정인지 또는 변동인지의 학습률 전략 중 어느 것이 최적인가?
• RQ3 UAV 속도는 레이일라이 페이딩 조건 하에서 Q-러닝 기반 항법 성능에 어떤 영향을 미치는가?
• RQ4 기존의 강화학습 기반 항법 기법과 비교할 때, 제안된 Q-러닝 방법은 수렴 속도와 강건성 측면에서 어떻게 다른가?
• RQ5 모델-프리 강화학습 접근법은 레이일라이 페이딩으로 인한 RSS의 깊은 흐림으로 인한 항법 편향을 효과적으로 완화할 수 있는가?

주요 결과

• 고정 학습률 1과 비교해 볼 때, 변동 학습률이 수렴 시간을 크게 감소시켜 시스템의 반응성을 향상시킨다.
• 낮은 UAV 속도에서는 제안된 Q-러닝 방법이 [9]에서 기존의 RL 기반 기법보다 특히 수렴 속도 측면에서 뛰어나게 성능을 발휘한다.
• 평균 창이 증가함에 따라 수렴 시간은 최적점까지 감소하지만, 이후 더 긴 지연으로 인해 성능이 악화된다.
• 높은 UAV 속도에서는 더 큰 평균 창으로 인해 잘못된 결정을 내리는 동안 이동하는 거리가 커져 수렴 시간이 증가한다.
• 최적의 평균 창은 페이딩으로 인한 노이즈 감소와 적시 결정 간의 균형을 맞추어 가장 빠른 항법을 가능하게 한다.
• 특히 공공안전과 피해자 위치 파악에 중요한 낮은 속도 시나리오에서 이전 연구에 비해 더 빠른 수렴을 달성한다.