[論文レビュー] Hybrid Indoor Localization via Reinforcement Learning-based Information Fusion

Mohammad Salimibeni, Arash Mohammadi|arXiv (Cornell University)|Oct 27, 2022

Indoor and Outdoor Localization Technologies被引用数 5

ひとこと要約

本稿では、Bluetooth Low Energy (BLE) の到達角 (AoA)、電波受信強度インジケータ (RSSI)、および慣性計測装置 (IMU) を用いた歩行者 dead reckoning (PDR) を統合する強化学習ベースの情報融合フレームワーク、RL-IFF を提案する。深層強化学習を用いて動的に融合重みを最適化することで、RL-IFF は多様な屋内環境および移動パターンにおいて、平均二乗誤差 (MSE) の観点で単体型および固定重み融合手法を上回る優れた局所化精度と安定性を達成する。

ABSTRACT

The paper is motivated by the importance of the Smart Cities (SC) concept for future management of global urbanization. Among all Internet of Things (IoT)-based communication technologies, Bluetooth Low Energy (BLE) plays a vital role in city-wide decision making and services. Extreme fluctuations of the Received Signal Strength Indicator (RSSI), however, prevent this technology from being a reliable solution with acceptable accuracy in the dynamic indoor tracking/localization approaches for ever-changing SC environments. The latest version of the BLE v.5.1 introduced a better possibility for tracking users by utilizing the direction finding approaches based on the Angle of Arrival (AoA), which is more reliable. There are still some fundamental issues remaining to be addressed. Existing works mainly focus on implementing stand-alone models overlooking potentials fusion strategies. The paper addresses this gap and proposes a novel Reinforcement Learning (RL)-based information fusion framework (RL-IFF) by coupling AoA with RSSI-based particle filtering and Inertial Measurement Unit (IMU)-based Pedestrian Dead Reckoning (PDR) frameworks. The proposed RL-IFF solution is evaluated through a comprehensive set of experiments illustrating superior performance compared to its counterparts.

研究の動機と目的

• 信号の変動、ノイズ、環境への感受性に起因する単体型屋内局所化システムの限界を解消すること。
• 柔軟性に欠け、多数のラベル付けを必要とする従来の固定重みまたは教師あり統合手法の欠点を克服すること。
• 動的で都市的・スマートシティ環境において、履歴データから最適な重み戦略を学習可能なリアルタイムで適応可能な統合フレームワークを開発すること。
• 特にパンデミック時の接触追跡などの重要な用途を想定し、複雑で時間的に変化する屋内環境における局所化精度と信頼性を向上させること。
• 複数の環境および移動シナリオにわたる、提案された RL ベースの統合手法の頑健性、再現性、安定性を評価すること。

提案手法

• 本フレームワークは、3 つの局所化モダリティを統合する：AoA を用いた BLE、Kalman フィルタリングを組み合わせた粒子フィルタリングを用いた RSSI、IMU を用いた歩行者 dead reckoning (PDR)。
• 深層強化学習エージェントが、リアルタイムの環境フィードバックに基づいて、3 つの局所化パスに最適な融合重みを動的に割り当てるように訓練される。
• RL エージェントは、状態が現在のセンサ読み取り値と履歴追跡性能を含むマルコフ意思決定過程 (MDP) フレームワーク内で動作し、行動は AoA、RSSI、PDR の重みベクトルである。
• 報酬関数は、局所化誤差 (MSE) を最小化するように設計されており、推定誤差を時間経過とともに低減する方策を学習するようにエージェントを促進する。
• 学習には 1,000,000 エピソードと 1,000 サブテストエピソードを用い、連続した状態-行動空間を近似するための DQN ベースの深層 Q ネットワークを採用。
• 本システムは、4 つの移動パターン（長方形、ランダム、および2つの対角線経路）を含む3つの異なる屋内環境で評価され、動的シナリオへの一般化を保証する。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースの統合フレームワークは、屋内環境における局所化精度と安定性の観点で、固定重みおよびランダム重み統合戦略を上回ることができるか？
• RQ2 提案された RL-IFF フレームワークは、実世界の屋内環境における変動する信号条件および移動パターンにどのように適応するか？
• RQ3 RL ベースの統合手法は、個々の AoA、RSSI、PDR システムと比較して、どれほど局所化誤差 (MSE) を低減するか？
• RQ4 ノイズが多く、動的な条件下でも、RL-IFF フレームワークはどれほど再現可能で安定しているか？
• RQ5 ラベル付きデータや環境ダイナミクスの事前知識がなくても、RL エージェントは最適な融合重みを学習できるか？

主な発見

• 3 つのテスト環境すべてにおいて、RL-IFF フレームワークは、すべての移動シナリオで最小の平均二乗誤差 (MSE) を達成し、単体型 AoA、RSSI-PF、PDR システムを上回った。
• RL-IFF フレームワークは、ランダム重み割り当てや等重み平均化よりも顕著に低い MSE を示し、一部のシナリオでは最大 60% の低減が確認された。
• 50 回の繰り返し実験において、高い安定性と低分散を示した。図 4 に示される一貫性あるパフォーマンスは、収束の信頼性を裏付けている。
• RL エージェントは動的重み適応を成功裏に学習し、視線内状態では AoA に高い重みを割り当て、信号途切れ時には PDR を優先するようにした。
• 不規則で予測不能な人間の運動を伴う困難なランダムおよび対角線移動パターンにおいても、本手法は優れた性能を維持した。これは、予測不可能な状況下でも頑健であることを証明している。
• 結果から、時間的に変化する現実世界の屋内局所化タスクにおいて、伝統的またはヒューリスティックな統合手法よりも RL ベースの統合がより効果的であることが確認された。