[论文解读] CSI-Net: Unified Human Body Characterization and Action Recognition.

Fei Wang, Jinsong Han+3 more|arXiv (Cornell University)|Oct 7, 2018

Gait Recognition and Analysis参考文献 63被引用 17

一句话总结

CSI-Net 是一种统一的深度神经网络，利用WiFi信道状态信息（CSI）联合学习人体特征表征与动作识别。它能同时估计体脂率、肌肉率、水分率和骨量率等生物特征参数，同时实现人员识别以及两种姿态识别任务——手势识别与跌倒检测，从而实现从原始CSI信号到端到端表征学习的统一。

ABSTRACT

We build CSI-Net, a unified Deep Neural Network~(DNN), to learn the representation of WiFi signals. Using CSI-Net, we jointly solved two body characterization problems: biometrics estimation (including body fat, muscle, water, and bone rates) and person recognition. We also demonstrated the application of CSI-Net on two distinctive pose recognition tasks: the hand sign recognition (fine-scaled action of the hand) and falling detection (coarse-scaled motion of the body).

研究动机与目标

• 为解决从原始WiFi CSI信号中提取丰富、多任务表征以支持以人为中心的应用的挑战。
• 通过单一深度学习模型，联合解决生物特征参数估计（体脂率、肌肉率、水分率、骨量率）与人员识别问题。
• 将统一的表征扩展至识别精细尺度动作（如手势）与粗粒度运动（如跌倒）。
• 展示单一DNN架构在利用CSI实现多样化人体行为与生理特征表征任务中的可行性。

提出的方法

• CSI-Net 采用统一的深度神经网络架构，处理从WiFi设备采集的原始CSI信号。
• 通过共享分支与任务特定分支，从CSI时间序列数据中学习分层表征。
• 利用多任务学习联合训练生物特征参数估计与人员识别，共享特征编码器。
• 通过同一CSI输入的共享表征学习，将姿态识别任务（手势识别与跌倒检测）整合进网络。
• 网络采用时间建模组件，捕捉CSI数据中的动态运动模式，以支持动作识别。
• 采用针对每项任务定制的监督损失函数进行端到端训练：生物特征估计使用回归损失，人员识别与动作识别使用分类损失。

实验结果

研究问题

• RQ1 单一深度神经网络能否有效从WiFi CSI信号中学习统一表征，以支持多样化的个体表征任务？
• RQ2 CSI-Net 在多大程度上能联合估计多种生物特征参数（体脂率、肌肉率、水分率、骨量率）？
• RQ3 仅使用CSI信号而无需额外传感器时，CSI-Net在人员识别任务中的表现如何？
• RQ4 相同的统一表征能否同时支持细粒度（如手势）与粗粒度（如跌倒）动作识别？
• RQ5 与独立模型相比，多任务联合学习在性能上带来了多大提升？

主要发现

• CSI-Net 从原始WiFi CSI信号中成功学习到统一表征，可支持多种下游任务。
• 该模型仅通过CSI数据即实现了对体脂率、肌肉率、水分率和骨量率等关键生物特征参数的精确估计。
• 利用学习到的表征，人员识别任务得以有效执行，证明了CSI-Net的判别能力。
• 该网络在细粒度动作（如手势）与粗粒度运动（如跌倒检测）上均表现出良好的泛化能力。
• 多任务联合学习提升了表征质量，所有评估任务均表现出一致的性能增益。
• 统一架构相比为每项任务单独训练模型，显著降低了模型复杂度与推理成本。