[论文解读] Gesture Recognition from body-Worn RFID under Missing Data

Sahar Golipoor, Richard T. Brophy+3 more|arXiv (Cornell University)|Jan 22, 2026

Hand Gesture Recognition Systems被引用 0

一句话总结

论文开发了一种使用人体佩戴的被动 RFID 标签的手势识别系统，通过插值、填充和图注意力 CNN 处理缺失数据，在21个手势上达到98.13%的准确率，在leave-one-person-out下达到89.28%。

ABSTRACT

We explore hand-gesture recognition through the use of passive body-worn reflective tags. A data processing pipeline is proposed to address the issue of missing data. Specifically, missing information is recovered through linear and exponential interpolation and extrapolation. Furthermore, imputation and proximity-based inference are employed. We represent tags as nodes in a temporal graph, with edges formed based on correlations between received signal strength (RSS) and phase values across successive timestamps, and we train a graph-based convolutional neural network that exploits graph-based self-attention. The system outperforms state-of-the-art methods with an accuracy of 98.13% for the recognition of 21 gestures. We achieve 89.28% accuracy under leave-one-person-out cross-validation. We further investigate the contribution of various body locations on the recognition accuracy. Removing tags from the arms reduces accuracy by more than 10%, while removing the wrist tag only reduces accuracy by around 2%. Therefore, tag placements on the arms are more expressive for gesture recognition than on the wrist.

研究动机与目标

• 在标签丢失检测和数据丢失的情况下，推动从身体佩戴 RFID 标签实现鲁棒的手势识别。
• 提出包括插值、填充和归一化的数据处理流水线以恢复缺失信息。
• 引入一种基于图的神经网络，利用标签之间及时间维度的 RSS 与相位相关性进行分类。
• 在多种环境、距离和受试者上评估系统，以分析放置位置与鲁棒性。

提出的方法

• 将八个身体佩戴的 RFID 标签表示为时间图中的节点，边基于跨时间戳的 RSS/相位相关性。
• 对信号进行相位展开、归一化，以及 Savitzky–Golay 和高斯平滑以降噪。
• 使用线性和指数插值填充稀疏的前导/尾随零值，并对缺失样本进行零填充。
• 在类内基于距离的填充（Mean Euclidean Distance）和空间邻近性（标签放置）下执行空数据框的内插填充。
• 构建具时序-KNN 图构造和自注意力的图神经网络，以实现信息传递与聚合。
• 将输入结构化为 4D 张量 [B, T, N, D]，其中 T=30，N=8，D=2（RSS 和相位）用于图学习。

实验结果

研究问题

• RQ1 佩戴在身上的 RFID 反向散射信号是否能够在缺失数据条件下可靠地区分21个手势？
• RQ2 数据清理策略（插值、填充）如何影响识别性能以及对标签丢失的鲁棒性？
• RQ3 标签放置对识别准确率有何影响，基于图的模型如何利用跨标签和时间的相关性？
• RQ4 在leave-one-person-out 场景下，基于图的自注意力 CNN 是否优于传统的基于 RF/RSS 的分类器？

主要发现

Method	Acc.	Pre.	Rec.	F1
RFC with SP	83.56	83.72	83.56	83.42
RFC with SWP	86.26	86.48	86.20	86.07
RFC with SPR	95.25	95.35	95.25	95.23
Early Fusion	83.62	84.25	83.57	83.34
Late Fusion	87.13	88.32	87.08	86.91
EUIGR	80.40	78.94	80.07	78.73
GRfid	30.34	31.40	30.16	30.22
Our model	98.13	98.19	98.13	98.13
RFC with SP	85.07	86.29	85.02	85.13
RFC with SWP	85.71	86.72	85.71	85.72
RFC with SPR	93.52	94.35	93.52	93.59
Early Fusion	81.01	86.08	81.00	81.18
Late Fusion	89.41	90.18	89.39	89.39
EUIGR	80.37	74.75	80.33	75.97
GRfid	29.39	29.14	29.34	28.89
Our model	96.82	97.88	96.80	97.02
RFC with SP	84.12	84.67	84.07	83.96
RFC with SWP	81.26	82.39	81.26	80.93
RFC with SPR	93.80	94.08	93.78	93.71
Early Fusion	91.13	94.16	91.13	91.56
Late Fusion	90.15	91.13	90.15	90.15
EUIGR	87.30	83.75	87.27	84.55
GRfid	34.43	36.30	33.87	34.33
Our model	98.41	-	-	-

• 在同一用户测试中实现 21 个手势的准确率为 98.13%，在 leave-one-person-out 交叉验证中为 89.28%。
• 单手手势在部分手势上达到 98.27% 的准确率，且在同一用户测试中有 21/21 的手势达到 100%。
• 移除胳膊上佩戴的标签会显著降低准确率（手臂标签移除时下降超过 10%；腕部标签移除大约下降 2%）。
• 全部八个标签对高性能有贡献；某些标签（T4 和 T8）在被省略时影响最大。
• 所提出的图注意力框架在三个数据集、距离为3m和1.5m时均优于基线的 RF/RSS 方法（如 RFC with SPR、Early/Late Fusion、EUIGR、GRfid 等）。