[論文レビュー] Wireless Sensing Data Collection and Processing for Metaverse Avatar Construction

Jiacheng Wang, Hongyang Du+4 more|arXiv (Cornell University)|Nov 23, 2022

Speech and Audio Processing被引用数 8

ひとこと要約

本論文では、802.11acベースのNexmonプラットフォームを用いて収集された新規の無線センシングデータセットを提案し、メタバースアバター構築を支援する。チャネル状態情報（CSI）における位相シフト問題をスライディングウインドウおよび位相補正手法により解決する。主な貢献は、CSIの安定性が向上したオープンソースデータセットであり、人間の行動およびバイオメトリクスセンシングの精度向上を実証済みである。

ABSTRACT

Recent advances in emerging technologies such as artificial intelligence and extended reality have pushed the Metaverse, a virtual, shared space, into reality. In Metaverse, users can customize virtual avatars to experience a different life. While impressive, avatar construction requires a lot of data that manifest users in the physical world from various perspectives, and wireless sensing data is one of them. For example, machine learning (ML) and signal processing can help extract information about user behavior from sensing data, thereby facilitating avatar behavior construction in the Metaverse. This article presents a wireless sensing dataset to support the emerging research on Metaverse avatar construction. Rigorously, the existing data collection platforms and datasets are analyzed first. On this basis, we introduce the platform used in this paper, as well as the data collection method and scenario. We observe that the collected sensing data, i.e., channel state information (CSI), suffers from a phase shift problem, which negatively affects the extraction of user information such as behavior and heartbeat and further deteriorates the avatar construction. Therefore, we propose to detect and correct this phase shift by a sliding window and phase compensation, respectively, and then validate the proposed scheme with the collected data. Finally, several research directions related to the avatar construction are given from the perspective of datasets.

研究の動機と目的

• 実世界の人体活動からの無線センシングデータを活用して、正確なメタバースアバター構築を可能にすること。
• 802.11acベースのプラットフォームから収集されたCSIデータにおける位相シフトという深刻な問題に取り組み、ユーザーの行動およびバイオメトリクス推定精度を低下させることを防ぐこと。
• AI/MLベースのアバターモデリングを支援する、信号安定性が向上した高精細な無線センシングデータセットを公開すること。
• スライディングウインドウ分析と信号補正を用いた位相シフト検出および補正手法を開発・検証すること。
• 次世代メタバースアバター開発における無線センシング、ウェアラブルデータ統合、マルチモーダルデータ統合の今後の研究方向性を同定すること。

提案手法

• 4×4 MIMOおよび160 MHz帯域幅を備えたNexmonベースのテストプラットフォームを用いて、高分解能な無線センシングを実現するCSIデータを収集した。
• 複数のアンテナにおけるCSIデータの位相シフトを検出するために、スライディングウインドウ技術を実装した。
• 検出された位相シフトを補正するための位相補正アルゴリズムを提案した。
• アクティブおよびパassingセンシングの両状況で実世界のデータを用いて補正手法を検証し、AoAおよびToF推定の改善を測定した。
• さまざまな信頼度レベル下での位相シフトが、到着角（AoA）および飛行時間（ToF）を含む主要な信号パラメータに与える影響を分析した。
• メタバースアプリケーションにおける無線センシング研究の再現可能性を支援するため、公開可能なデータセットを提供した。

実験結果

リサーチクエスチョン

• RQ1 CSIデータにおける位相シフトが、メタバースアバター構築のための人間の行動およびバイオメトリクスパラメータ推定精度にどのように影響を与えるか？
• RQ2 スライディングウインドウベースの検出および位相補正手法は、802.11acベースの無線センシングシステムにおける位相シフトを効果的に是正できるか？
• RQ3 位相補正は、AoAおよびToFなどの主要な信号パラメータの推定精度をどの程度向上させるか？
• RQ4 本研究で提示されたデータセットは、アバター関連のセンシングタスクにおいて、帯域幅、アンテナ数、データ忠実度の観点から、既存のプラットフォームと比較してどのように差別化されるか？
• RQ5 無線センシング、ウェアラブルデータ統合、マルチモーダル統合を統合したメタバースアバター開発における今後の主な研究方向性は何か？

主な発見

• CSIデータにおける位相シフトは、信号パラメータ推定精度を顕著に低下させ、アクティブモードではAoA推定誤差が最大1.5度、ToF誤差が最大2.1 nsまで増加する。
• パassingセンシングモードでは、AoAおよびToF推定誤差がそれぞれ1.1度および1.3 ns増加し、特にToFに顕著な影響を及ぼす。
• 提案された位相補正手法は、推定誤差を効果的に低減し、信頼度が0.5以上の領域では、補正前後の曲線の差が顕著に顕在される。
• Nexmonプラットフォームを用いて収集されたデータセットは、多数の既存データセットと比較して、より高い帯域幅（160 MHz）とアンテナ数（4×4 MIMO）を備えており、より高精度なセンシングを可能にする。
• 本研究では、位相シフト補正が、アバター構築に不可欠なバイオメトリクスおよび行動データ抽出の信頼性を向上させることを実証した。
• オープンソース化されたデータセットは、メタバースアプリケーションにおける無線センシングのAI/MLモデルのトレーニングおよび検証のための貴重なベンチマークを提供する。