[論文レビュー] Indoor UAV Navigation to a Rayleigh Fading Source Using Q-Learning

Bekir Sait Çiftler, Adem Tuncer+1 more|arXiv (Cornell University)|May 29, 2017

UAV Applications and Optimization参考文献 6被引用数 9

ひとこと要約

本稿では、深 fading を緩和するための平均化された RSS 観測値を用いて、室内の Rayleigh 衰えのRF信号源（例：IoTデバイス）向けに、モデルフリーのQ学習アルゴリズムを提案する。主な貢献は、変動学習率と最適化された時間平均化ウィンドウが、固定学習率や先行するRL手法に比べて収束時間を顕著に短縮することであり、公的セーフティシナリオに不可欠な低速UAV動作において特に優れた性能を発揮する。

ABSTRACT

Unmanned aerial vehicles (UAVs) can be used to localize victims, deliver first-aid, and maintain wireless connectivity to victims and first responders during search/rescue and public safety scenarios. In this letter, we consider the problem of navigating a UAV to a Rayleigh fading wireless signal source, e.g. the Internet-of-Things (IoT) devices such as smart watches and other wearables owned by the victim in an indoor environment. The source is assumed to transmit RF signals, and a Q-learning algorithm is used to navigate the UAV to the vicinity of the source. Our results show that the time averaging window and the exploration rate for the Q-learning algorithm can be optimized for fastest navigation of the UAV to the IoT device. As a result, Q-learning achieves the best performance with smaller convergence time overall.

研究の動機と目的

• GPS非利用の室内環境において、被災者のRF信号源へのUAVナビゲーションの課題に取り組むこと。特に、Rayleigh 衰えの条件下でのナビゲーションを想定する。
• 室内環境における多径フェージングによる受信信号強度（RSS）の深さフェージングが引き起こすナビゲーションバイアスを軽減すること。
• 環境やRSSモデルに関する事前知識を必要としない、モデルフリーの強化学習アプローチを構築すること。
• 収束速度の向上を目的として、Q学習の主要パラメータ（時間平均化ウィンドウと学習率）を最適化すること。
• 本稿で提案するQ学習手法と既存のRLベースの手法を比較し、公的セーフティに関連する低速状況における性能を評価すること。

提案手法

• UAVのナビゲーションをRSS観測値に基づいて実現するQ学習アルゴリズムを採用し、環境やRSSダイナミクスに関する事前モデルは一切不要である。
• 報酬関数は、連続する平均化されたRSS値の差分として定義され、より強い信号方向への移動を促進する。
• RSS値は時間ウィンドウ $ T_S $ で平均化され、Rayleigh 衰えに起因する深さフェージングの影響が軽減される。
• 動的状態に応じて学習率を変動させる変動学習率が採用され、応答性と収束速度の両立が図られる。
• 学習中の探索と活用のバランスを図るために、$ \epsilon $-greedy探索が用いられる。
• 障害物回避は、シミュレーテッドセンサーによる衝突検知と、壁に当たった場合の行動再選択によって実装される。

実験結果

リサーチクエスチョン

• RQ1 異なる期間にわたるRSSの時間平均化が、Rayleigh 衰えの室内環境下におけるQ学習の収束時間にどのように影響を与えるか？
• RQ2 収束時間を最小化する目的で、固定学習率と比較して、変動学習率がより効果的であるか？
• RQ3 UAVの速度が、Rayleigh 衰え下におけるQ学習ベースナビゲーションの性能にどのように影響を及ぼすか？
• RQ4 本稿で提案するQ学習手法は、既存のRLベースのナビゲーション手法と比較して、収束速度とロバスト性の面でどのように差をつけるか？
• RQ5 モデルフリーのRLアプローチは、Rayleigh 衰えに起因するRSSの深さフェージングが引き起こすナビゲーションバイアスを効果的に軽減できるか？

主な発見

• 変動学習率は、固定学習率1よりも顕著に収束時間を短縮し、システムの応答性が向上する。
• 低速UAV動作において、本稿で提案するQ学習手法は、[9]で示された既存のRLベース手法を上回り、特に収束速度の面で優位性を示す。
• 平均化ウィンドウを長くすると、最適点までは収束時間が短縮されるが、その後は応答遅延の増加により性能が劣化する。
• 高速UAV動作では、大きな平均化ウィンドウが、誤った意思決定中に移動する距離が増加するため、収束時間が延長される。
• 最適な平均化ウィンドウは、フェージングによるノイズ低減とタイムリーな意思決定の両立を最適化し、最も速いナビゲーションを実現する。
• 本手法は、公的セーフティや被災者特定に不可欠な低速シナリオにおいて、先行研究を上回る迅速な収束を達成する。