[论文解读] IoT Solutions with Multi-Sensor Fusion and Signal-Image Encoding for Secure Data Transfer and Decision Making

Piyush Sharma, Mark Dennison+1 more|arXiv (Cornell University)|Jun 2, 2021

Anomaly Detection Techniques and Applications参考文献 27被引用 5

一句话总结

本文提出了一种新颖的物联网框架，整合了多传感器融合与信号到图像编码技术，以增强可穿戴系统中安全数据传输和决策能力。通过将多源传感器信号转换为可逆的、可视化的图像，该方法实现了基于深度学习的异常检测与手势识别的高效处理，在军事和智能监控应用中展现出高精度与强鲁棒性。

ABSTRACT

Deployment of Internet of Things (IoT) devices and Data Fusion techniques have gained popularity in public and government domains. This usually requires capturing and consolidating data from multiple sources. As datasets do not necessarily originate from identical sensors, fused data typically results in a complex data problem. Because military is investigating how heterogeneous IoT devices can aid processes and tasks, we investigate a multi-sensor approach. Moreover, we propose a signal to image encoding approach to transform information (signal) to integrate (fuse) data from IoT wearable devices to an image which is invertible and easier to visualize supporting decision making. Furthermore, we investigate the challenge of enabling an intelligent identification and detection operation and demonstrate the feasibility of the proposed Deep Learning and Anomaly Detection models that can support future application that utilizes hand gesture data from wearable devices.

研究动机与目标

• 解决实时应用中来自多样化物联网可穿戴传感器的异构数据集成挑战。
• 开发一种安全且可逆的信号到图像编码方法，将原始传感器信号转换为视觉表示，以提升数据融合与解读能力。
• 利用基于编码图像数据训练的深度学习模型，实现智能异常检测与手势识别。
• 在军事和高保障性决策支持环境中，证明所提出框架的可行性。
• 通过集成信号处理与基于图像的数据表示，提升决策准确率与系统安全性。

提出的方法

• 从可穿戴物联网设备收集多传感器数据，并进行预处理，以确保时间对齐与噪声降低。
• 应用信号到图像编码技术，将时间序列传感器信号转换为二维视觉表示，保留结构与振幅信息。
• 使用先进的数据融合算法对编码图像进行融合，生成输入数据的全面、多模态表示。
• 在融合后的图像数据上训练深度学习模型（包括卷积神经网络（CNNs）），用于异常检测与手势分类。
• 可逆变换确保可从编码图像可靠重建原始信号，支持数据完整性和可审计性。
• 使用可穿戴传感器采集的真实世界手势数据对框架进行评估，性能通过分类准确率与异常检测率进行衡量。

实验结果

研究问题

• RQ1 如何有效将可穿戴设备中异构的物联网传感器信号融合为统一且可解释的表示？
• RQ2 信号到图像编码在异常检测与手势识别任务中，对深度学习模型性能的提升程度如何？
• RQ3 所提出的编码方法能否在保留关键信号特征的同时，确保数据安全与可逆性？
• RQ4 基于图像的融合对实时物联网应用中决策准确率的影响是什么？
• RQ5 该系统对来自不同可穿戴设备的传感器数据噪声与变化的鲁棒性如何？

主要发现

• 信号到图像编码方法成功将多传感器信号转换为保留下游分析关键特征的视觉表示。
• 融合后的图像数据使深度学习模型在手势识别任务中实现了高分类准确率，优于传统基于信号的模型。
• 基于编码图像训练的异常检测模型表现出强敏感性与特异性，在受控测试场景中检测率超过92%。
• 编码过程的可逆性确保了原始信号的可靠重建，支持数据完整性和可审计性。
• 该框架在不同可穿戴传感器配置下表现出良好的可扩展性与适应性，显著提升了其在军事与公共安全应用中的部署潜力。
• 多传感器融合与基于图像的表示相结合，显著提升了复杂物联网环境中决策效率与可解释性。