[논문 리뷰] MM-Fi: Multi-Modal Non-Intrusive 4D Human Dataset for Versatile Wireless Sensing

Jianfei Yang, He Huang외 7명|arXiv (Cornell University)|2023. 05. 12.

Indoor and Outdoor Localization Technologies인용 수 16

한 줄 요약

MM-Fi는 40명의 피실험자에 걸쳐 27개의 동작에 대한 풍부한 자세/동작 주석이 포함된 최초의 다섯 모달리티 비침습적 4D 인간 데이터 세트(RGB, depth, LiDAR, mmWave 레이더, WiFi CSI)와 다중 및 단일 모달 무선 센싱 벤치마크를 도입합니다.

ABSTRACT

4D human perception plays an essential role in a myriad of applications, such as home automation and metaverse avatar simulation. However, existing solutions which mainly rely on cameras and wearable devices are either privacy intrusive or inconvenient to use. To address these issues, wireless sensing has emerged as a promising alternative, leveraging LiDAR, mmWave radar, and WiFi signals for device-free human sensing. In this paper, we propose MM-Fi, the first multi-modal non-intrusive 4D human dataset with 27 daily or rehabilitation action categories, to bridge the gap between wireless sensing and high-level human perception tasks. MM-Fi consists of over 320k synchronized frames of five modalities from 40 human subjects. Various annotations are provided to support potential sensing tasks, e.g., human pose estimation and action recognition. Extensive experiments have been conducted to compare the sensing capacity of each or several modalities in terms of multiple tasks. We envision that MM-Fi can contribute to wireless sensing research with respect to action recognition, human pose estimation, multi-modal learning, cross-modal supervision, and interdisciplinary healthcare research.

연구 동기 및 목표

• 카메라와 웨어러블의 프라이버시 및 편의성 한계를 비침습적 무선 센서(LiDAR, mmWave, WiFi)를 사용하여 해결한다.
• 자세, 3D 위치, 동작에 대한 광범위한 주석을 포함하는 크고 다중 모달 4D 인간 데이터 세트를 생성한다.
• 무선 센싱에서 다중 모달 학습, 교차 모달 감독 및 도메인 일반화를 가능하게 한다.
• 3D HPE(3D 인간 자세 추정) 및 모달리티 간 동작 인식 연구를 진전시키기 위한 벤치마크와 도구를 제공한다.

제안 방법

• ROS를 통해 RGB-D, LiDAR, mmWave 레이더, WiFi CSI 데이터를 포착하는 동기화된 이동형 센서 플랫폼을 개발하고, 단일 10 Hz 프레임 속도를 통일한다.
• 2D/3D 자세, 3D 신체 랜드마크, 3D 밀집 자세, 동작 범주 및 3D 피실험자 위치를 주석화하고, 다중 뷰 삼각측정 데이터에서 최적화(L_G 및 L_A)를 통해 3D 키포인트를 정제한다.
• LiDAR와 카메라 데이터를 융합하여 둘러싼 3D 위치 큐브를 생성하고 ~50 mm 오차 이내의 고품질 정답 ground truth를 사용해 주석을 다는 방법.
• 무선 밀집 자세 추정 실험을 가능케 하기 위해 RGB 기반 밀집 자세 모델에서 도출된 3D 밀집 자세 라벨을 제공한다.
• 편리한 다중 및 단일 모달 실험을 위한 시간적 동작 분절 라벨과 PyTorch 데이터 로더를 제공한다.

실험 결과

연구 질문

• RQ1 다섯 가지 비침습 모달리티가 다양한 데이터 분할 및 프로토콜에서 3D 인간 자세 추정(HPE)에 대해 어떻게 비교되는가?
• RQ2 다중 모달 융합이 무선 센싱에서 3D HPE 및 동작 인식의 견고성과 정확도를 개선할 수 있는가?
• RQ3 교차 피실험자 및 교차 환경 일반화가 MM-Fi의 모달리티 성능에 어떤 영향을 미치는가?
• RQ4 다중 모달 데이터로부터 도출된 무선 밀집 자세 및 동작 분절의 타당성과 품질은 어떠한가?

주요 결과

• 단일 모달 결과에서 LiDAR가 MPJPE 98.1±2.2, 110.1±2.9, 192.3±30.4 mm 및 PA-MPJPE 65.2±0.7, 66.2±1.2, 100.4±5.4 mm를 각각 S1에서 달성합니다(P1, P2, P3).
• mmWave 레이더는 MPJPE 109.8±2.7, 128.4±6.9, 166.2±4.5 mm 및 PA-MPJPE 55.6±1.4, 58.7±4.3, 73.9±2.7 mm를 달성합니다(S1).
• WiFi CSI 기반 3D HPE는 임의 분할에서 MPJPE가 약 367.8±0.9에서 369.5±0.3 mm, PA-MPJPE가 약 121.0±2.2에서 121.4±0.1 mm(S3)로 나타납니다.
• 교차 피실험자 결과에서 LiDAR와 mmWave는 일반화가 잘 되는 반면(WiFi는 해상도 제한으로 일반화 저하), 일반화가 저하됩니다.
• 다중 모달 융합(RGB+LiDAR 또는 R+L+W 등)은 여러 설정에서 단일 모달보다 HPE 성능을 향상시키며, I+L 및 R+L+W가 프로토콜 전반에 걸쳐 MPJPE/PA-MPJPE에서 눈에 띄는 이점을 제공합니다.
• 교차 환경 시나리오에서 mmWave 기반 3D HPE가 모달리티 중 가장 견고한 반면, LiDAR와 WiFi는 더 큰 성능 저하를 경험하며, 융합이 일부 손실을 완화할 수 있습니다.