[論文レビュー] The LuViRA Dataset: Synchronized Vision, Radio, and Audio Sensors for Indoor Localization

Ilayda Yaman, Guoda Tian+12 more|arXiv (Cornell University)|Feb 10, 2023

Indoor and Outdoor Localization Technologies被引用数 4

ひとこと要約

LuViRAデータセットは、屋内環境における視覚、電波、音声センサーからの同期的で高精度な測定を提供し、センチメートルレベルの屋内位置特定のためのマルチモーダルセンサー融合に関する研究を可能にする。88のトラジェクトリ、0.5 mmの6DoFの真値、12マイクフォンの音声、RGB/深度画像、IMUデータ、および大規模MIMOチャネル応答を含み、すべてのデータが時間的に同期されている。これにより、強固なアルゴリズムの評価と開発が可能となる。

ABSTRACT

We present a synchronized multisensory dataset for accurate and robust indoor localization: the Lund University Vision, Radio, and Audio (LuViRA) Dataset. The dataset includes color images, corresponding depth maps, inertial measurement unit (IMU) readings, channel response between a 5G massive multiple-input and multiple-output (MIMO) testbed and user equipment, audio recorded by 12 microphones, and accurate six degrees of freedom (6DOF) pose ground truth of 0.5 mm. We synchronize these sensors to ensure that all data is recorded simultaneously. A camera, speaker, and transmit antenna are placed on top of a slowly moving service robot, and 89 trajectories are recorded. Each trajectory includes 20 to 50 seconds of recorded sensor data and ground truth labels. Data from different sensors can be used separately or jointly to perform localization tasks, and data from the motion capture (mocap) system is used to verify the results obtained by the localization algorithms. The main aim of this dataset is to enable research on sensor fusion with the most commonly used sensors for localization tasks. Moreover, the full dataset or some parts of it can also be used for other research areas such as channel estimation, image classification, etc. Our dataset is available at: https://github.com/ilaydayaman/LuViRA_Dataset

研究の動機と目的

• 屋内位置特定の研究を目的とした、視覚、電波、音声センサーを統合した公開で同期されたデータセットの不足に対処する。
• 精度、信頼性、エネルギー効率を向上させるマルチモーダル位置特定アルゴリズムの開発と評価を可能にする。
• カメラ、RFモジュール、マイクからのデータ統合による、個々のセンサーの限界を補完するためのベンチマークを提供する。
• 位置特定を越えた研究を支援する。例えば、チャネル推定、音源定位、画像分類など。
• スマートファクトリーや自律サービスロボットのような動的屋内環境におけるリアルタイムでセンチメートルレベルの位置特定を実現する。

提案手法

• モーションキャプチャスタジオに、カメラ、スピーカー、送信アダプタを装備した移動型産業用ロボット（MIR200）を設置し、88の同期トラジェクトリを記録した。
• RGB画像、深度マップ、IMU読み取り値、12マイクフォンの音声、および大規模MIMOチャネル状態情報（CSI）を収集し、モーションキャプチャシステムから得た0.5 mmの6DoF真値を併記した。
• 時間同期ユニットを用いて、視覚、音声、電波、慣性系のすべてのセンサーのデータを1ミリ秒未塔の精度で同期した。
• 各トラジェクトリの1秒前から1秒後までを記録し、移動の全期間をカバーする。
• 音声ベースの位置特定アルゴリズムにおけるノイズ抑制を支援するため、背景ノイズの記録を提供した。
• すべてのセンサー系をキャリブレーションし、温度やケーブル干渉などの環境要因をデータ解釈に反映した。

実験結果

リサーチクエスチョン

• RQ1 視覚、電波、音声センサーのデータ統合は、動的屋内環境における位置特定の精度と耐障害性をどのように向上させるか？
• RQ2 同期されたマルチモーダルデータは、リアルタイム応用における位置特定の遅延と消費電力をどの程度低減できるか？
• RQ3 温度変化や移動障害物などの環境要因は、視覚、音声、電波ベースの位置特定システムの性能にどのような影響を与えるか？
• RQ4 ケーブル干渉や視線遮断は、実世界の展開において電波および視覚ベースの位置特定にどのような影響を与えるか？
• RQ5 LuViRAデータセットは、6Gおよび低消費電力位置特定システムにおけるAI/MLモデルの学習と評価のための信頼できるベンチマークとして機能できるか？

主な発見

• LuViRAデータセットは、0.5 mmの6DoF真値を有する88の同期屋内トラジェクトリを提供し、センチメートルレベルの位置特定精度を実現している。
• 視覚ベースの位置特定は、明るく静的な条件下では非常に正確であるが、暗所では機能を失う。一方、音声および電波システムは低照度条件下でも正常に動作する。
• 音声ベースの位置特定は、騒音の高い環境、特に人が動き回る状況で著しく劣化し、真値のフレーム欠落を引き起こす。
• 電波ベースの位置特定は、人の移動に伴う遮断（特に人の身体やケーブルによる）の影響を受ける。これは、人の動きが激しい動的トラジェクトリで顕著である。
• 背景ノイズの記録をデータセットに含め、音声ベースの位置特定アルゴリズムにおけるノイズキャンセリングを支援し、騒音環境下での耐障害性を向上させた。
• モーションキャプチャスタジオ内の温度上昇（最大28 °C）は、電波および音声伝搬に影響を及ぼす可能性があり、特に視認方向と送信方向が一貫する「グリッド」トラジェクトリに顕著に影響を与える。