[论文解读] Learning Longterm Representations for Person Re-Identification Using Radio Signals

Lijie Fan, Tianhong Li+4 more|arXiv (Cornell University)|Apr 2, 2020

Video Surveillance and Tracking Methods参考文献 54被引用 5

一句话总结

本文提出 RF-ReID，一种新颖的行人重识别方法，利用无线电频率（RF）信号提取持久、长期的人体特征（如体型和行走姿态），克服了依赖短暂外观线索的 RGB 方法的局限性。通过采用结合 3D 骨骼预测与环境判别器的多任务学习，RF-ReID 在跨日场景下实现了鲁棒的身份匹配，即使在遮挡或光照不良条件下也表现优异，在纵向数据集上超越了最先进视频 ReID 模型。

ABSTRACT

Person Re-Identification (ReID) aims to recognize a person-of-interest across different places and times. Existing ReID methods rely on images or videos collected using RGB cameras. They extract appearance features like clothes, shoes, hair, etc. Such features, however, can change drastically from one day to the next, leading to inability to identify people over extended time periods. In this paper, we introduce RF-ReID, a novel approach that harnesses radio frequency (RF) signals for longterm person ReID. RF signals traverse clothes and reflect off the human body; thus they can be used to extract more persistent human-identifying features like body size and shape. We evaluate the performance of RF-ReID on longitudinal datasets that span days and weeks, where the person may wear different clothes across days. Our experiments demonstrate that RF-ReID outperforms state-of-the-art RGB-based ReID approaches for long term person ReID. Our results also reveal two interesting features: First since RF signals work in the presence of occlusions and poor lighting, RF-ReID allows for person ReID in such scenarios. Second, unlike photos and videos which reveal personal and private information, RF signals are more privacy-preserving, and hence can help extend person ReID to privacy-concerned domains, like healthcare.

研究动机与目标

• 解决在长时间跨度内因衣物等外观特征显著变化而带来的行人重识别挑战。
• 开发一种不依赖于揭示个人身份信息的视觉数据的隐私保护型 ReID 系统。
• 在遮挡和低光照等复杂条件下实现鲁棒的 ReID。
• 从 RF 信号中提取对短期外观变化不敏感的稳定、长期身份特征。
• 通过解耦身份特征与环境特异性偏差，减少 RF 基于 ReID 中的过拟合。

提出的方法

• 一种多任务学习框架，联合从 RF 信号中预测行人身份和 3D 人体骨骼，以提升特征鲁棒性。
• 与特征提取器并行训练的对抗性环境判别器，使特征对环境上下文保持不变，从而减少对特定位置模式的过拟合。
• 一种分层注意力机制，融合多个 RF 快照的信息，以在信号闪烁和部分反射的情况下重建全身特征。
• 仅使用行人 ID 标签进行端到端训练，通过骨骼预测监督和对抗性领域泛化实现监督。
• 使用 Wi-Fi 频段的 RF 信号，穿透衣物并从人体表面反射，以提取体型和运动特征。
• 在校园内部署五个同步的 RF 接收器，结合共置的 RGB 摄像头获取具有真实身份标签的纵向数据。

实验结果

研究问题

• RQ1 RF 信号能否在衣物变化的情况下，提取出在多日内依然稳定的长期身份特征？
• RQ2 在 RGB 摄像头失效的遮挡和低光照条件下，基于 RF 的 ReID 系统能否保持准确性？
• RQ3 如何缓解仅依赖身份标签弱监督的 RF 基于 ReID 模型中的过拟合问题？
• RQ4 与视觉方法相比，RF 信号在多大程度上能实现隐私保护型行人重识别？
• RQ5 通过学习环境不变特征，RF-ReID 能否在不同环境中实现良好泛化？

主要发现

• 在 RRD-Campus 数据集上，RF-ReID 的 mAP 达到 59.5%，CMC-1 达到 82.1%，优于基于视频的 ReID 基线模型。
• 环境判别器使 mAP 提升 2.8 个百分点，CMC-1 提升 7.9 个百分点，证明其在减少环境偏差方面的有效性。
• 定性结果表明，RF-ReID 能够正确匹配穿着不同衣物的个体，而基于 RGB 的模型因衣物相似性而失败。
• 在低光照和遮挡条件下，RF-ReID 维持了良好性能，而基于 RGB 的模型无法检测或正确识别个体。
• 当个体使用轮式设备（如自行车或滑板）时，模型表现下降，因为这些设备改变了行走姿态和 RF 反射特性。
• 特征可视化结果表明，环境判别器成功将身份特征与环境上下文解耦，使嵌入表示分布更加均匀。