[论文解读] Can WiFi Estimate Person Pose?
论文展示了使用 WiFi CSI 数据进行单人姿态估计的专用 CNN 模型 WiSPPN，在大型数据集上得到与基于摄像头的方法相当的姿态估计。
WiFi human sensing has achieved great progress in indoor localization, activity classification, etc. Retracing the development of these work, we have a natural question: can WiFi devices work like cameras for vision applications? In this paper We try to answer this question by exploring the ability of WiFi on estimating single person pose. We use a 3-antenna WiFi sender and a 3-antenna receiver to generate WiFi data. Meanwhile, we use a synchronized camera to capture person videos for corresponding keypoint annotations. We further propose a fully convolutional network (FCN), termed WiSPPN, to estimate single person pose from the collected data and annotations. Evaluation on over 80k images (16 sites and 8 persons) replies aforesaid question with a positive answer. Codes have been made publicly available at https://github.com/geekfeiw/WiSPPN.
研究动机与目标
- 激发并回答 WiFi 是否可用于细粒度姿态估计。
- 创建一个将 WiFi CSI 与基于相机的姿态注释同步对齐的多模态数据集。
- 提出 WiSPPN，将 WiFi CSI 映射到姿态表示。
- 引入姿态邻接矩阵嵌入以正则化姿态结构。
提出的方法
- 在16个地点、8名被试中收集同步的 WiFi CSI 数据（30 个载波，3x3 天线）和相机视频。
- 使用 AlphaPose 对相机帧中的姿态进行注释，并转换为 Pose Adjacent Matrix (PAM)。
- 设计 WiSPPN：一个编码器–特征提取器–解码器网络，将 CSI 放大并用 ResNet 风格的块提取特征，预测 3x18x18 PAM。
- 在教师–学生设置下训练 WiSPPN，其中 AlphaPose 获得的 PAM 作为对学生的监督。
- 使用 PAM 相似性损失，在 x 轴和 y 轴上最小化预测 PAM 与地面真值 PAM 之间的 L2 差，并按置信度进行缩放。
- 在多个阈值下，使用 PCK 指标对18个关键点进行评估。
实验结果
研究问题
- RQ1WiFi CSI 是否可以映射为单个人的准确 2D 人体关键点坐标？
- RQ2姿态邻接矩阵是否比直接关键点回归在基于 WiFi 的姿态估计中提供更好的泛化能力？
- RQ3在具有同步相机注释的真实数据集上，WiSPPN 的表现如何？
- RQ4在 PCK 指标方面， WiFi 基于的姿态估计能接近摄像头方法到什么程度？
主要发现
- WiSPPN 在 CSI 数据上实现单人姿态估计，18个关键点的平均 PCK@5 至 PCK@50 分别为 0.04、0.14、0.38、0.59、0.73、0.82。
- 在更高阈值下，18个关键点均显示非零 PCK 分数，颈部、肩部、髋部和肘部通常高于四肢端点。
- 系统使用 PAM 对坐标和位移进行嵌入，提升正则化和骨架形状的合理性。
- 教师网络（AlphaPose）提供 PAM 监督，以训练基于 WiFi 的学生网络，在同步数据上实现跨模态学习。
- 在来自16个地点、8名被试的80k张图像上的评估表明，WiFi 可以支持姿态估计，结果与基于摄像头的方法具有竞争力。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。