[논문 리뷰] Wireless Sensing Data Collection and Processing for Metaverse Avatar Construction

Jiacheng Wang, Hongyang Du외 4명|arXiv (Cornell University)|2022. 11. 23.

Speech and Audio Processing인용 수 8

한 줄 요약

이 논문은 메타버스 아바타 구축을 지원하기 위해 802.11ac 기반 Nexmon 플랫폼을 통해 수집한 새로운 무선 센싱 데이터셋을 제안하며, 슬라이딩 윈도우 및 단계 보정 방법을 통해 채널 상태 정보(CSI)의 위상 이탈 문제를 해결한다. 주요 기여는 개방형 데이터셋으로서 향상된 CSI 안정성 확보를 통해 인간 행동 및 생체 정보 센싱 정확도 향상을 입증한 점이다.

ABSTRACT

Recent advances in emerging technologies such as artificial intelligence and extended reality have pushed the Metaverse, a virtual, shared space, into reality. In Metaverse, users can customize virtual avatars to experience a different life. While impressive, avatar construction requires a lot of data that manifest users in the physical world from various perspectives, and wireless sensing data is one of them. For example, machine learning (ML) and signal processing can help extract information about user behavior from sensing data, thereby facilitating avatar behavior construction in the Metaverse. This article presents a wireless sensing dataset to support the emerging research on Metaverse avatar construction. Rigorously, the existing data collection platforms and datasets are analyzed first. On this basis, we introduce the platform used in this paper, as well as the data collection method and scenario. We observe that the collected sensing data, i.e., channel state information (CSI), suffers from a phase shift problem, which negatively affects the extraction of user information such as behavior and heartbeat and further deteriorates the avatar construction. Therefore, we propose to detect and correct this phase shift by a sliding window and phase compensation, respectively, and then validate the proposed scheme with the collected data. Finally, several research directions related to the avatar construction are given from the perspective of datasets.

연구 동기 및 목표

• 실생활 인간 활동에서 수집한 무선 센싱 데이터를 활용하여 정확한 메타버스 아바타 구축을 가능하게 하기 위해.
• 802.11ac 기반 플랫폼에서 수집된 CSI 데이터의 위상 이탈 문제를 해결하여 사용자 행동 및 생체 정보 추정 정확도를 떨어지게 하는 핵심 문제를 해결하기 위해.
• AI/ML 기반 아바타 모델링을 위한 고해상도 무선 센싱 데이터셋을 공개 제공함으로써 신뢰성 높은 신호 안정성을 확보하기 위해.
• 슬라이딩 윈도우 분석 및 신호 보정을 활용한 위상 이탈 탐지 및 보정 방법을 개발하고 검증하기 위해.
• 미래의 연구 방향으로 무선 센싱, 웨어러블 데이터 통합 및 다중모달 데이터 융합을 통한 차세대 메타버스 아바타 개발을 모색하기 위해.

제안 방법

• 4×4 MIMO 및 160 MHz 대역폭을 지원하는 Nexmon 기반 테스트 플랫폼을 활용하여 고해상도 무선 센싱을 위한 CSI 데이터를 수집하였다.
• CSI 데이터의 다중 안테나 간 위상 이탈을 탐지하기 위해 슬라이딩 윈도우 기법을 구현하였다.
• 검출된 위상 이탈을 보정하기 위한 위상 보정 알고리즘을 제안하였다.
• 실생활 활동 및 수동 센싱 시나리오에서 수집한 데이터를 활용하여 보정 방법의 유효성을 검증하였으며, AoA 및 ToF 추정 향상을 측정하였다.
• 다양한 신뢰 수준에서 위상 이탈이 각도 도착 방향(AoA) 및 도착 시간(ToF)과 같은 주요 신호 파rameter에 미치는 영향을 분석하였다.
• 메타버스 애플리케이션을 위한 재현 가능한 연구를 지원하기 위해 공개 가능한 데이터셋을 제공하였다.

실험 결과

연구 질문

• RQ1 CSI 데이터의 위상 이탈은 메타버스 아바타 구축을 위한 인간 행동 및 생체 정보 파rameter 추정 정확도에 어떻게 영향을 미치는가?
• RQ2 슬라이딩 윈도우 기반의 탐지 및 위상 보정 방법은 802.11ac 기반 무선 센싱 시스템에서 위상 이탈을 효과적으로 보정할 수 있는가?
• RQ3 위상 보정은 AoA 및 ToF와 같은 주요 신호 파rameter의 추정 정확도를 어느 정도 향상시키는가?
• RQ4 아바타 관련 센싱 작업에서 대역폭, 안테나 수 및 데이터 정밀도 측면에서 제안된 데이터셋은 기존 플랫폼과 비교해 어떻게 다른가?
• RQ5 무선 센싱, 웨어러블 데이터 통합 및 다중모달 융합을 통한 메타버스 아바타 개발을 위한 주요 미래 연구 방향은 무엇인가?

주요 결과

• CSI 데이터의 위상 이탈은 신호 파ram터 추정 정확도를 심각하게 떨어뜨리며, 활성 모드에서는 AoA 추정 오차가 최대 1.5도, ToF 오차가 최대 2.1 ns 증가한다.
• 수동 센싱 모드에서는 AoA 및 ToF 추정 오차가 각각 1.1도 및 1.3 ns 증가하며, 특히 ToF에 더 뚜렷한 영향을 미친다.
• 제안된 위상 보정 방법은 추정 오차를 효과적으로 감소시키며, 특히 신뢰 수준 0.5 이상에서 전후 보정 곡선 간 차이가 뚜렷하게 나타난다.
• Nexmon 플랫폼을 사용해 수집한 데이터셋은 대부분의 기존 데이터셋보다 높은 대역폭(160 MHz)과 더 많은 안테나(4×4 MIMO)를 지원하여 더 정확한 센싱을 가능하게 한다.
• 본 연구는 위상 이탈 보정이 아바타 구축에 필수적인 생체 및 행동 데이터를 추출하는 데 있어 CSI의 신뢰성을 향상시킨다는 것을 입증한다.
• 공개된 데이터셋은 메타버스 애플리케이션을 위한 AI/ML 모델 훈련 및 검증을 위한 유용한 기준 자료를 제공한다.