[论文解读] Big Data Analytics in Future Internet of Things

Guoru Ding, Long Wang+1 more|arXiv (Cornell University)|Nov 17, 2013

IoT and Edge/Fog Computing参考文献 14被引用 11

一句话总结

本文提出了一套关于未来物联网（IoT）中大数据分析的系统性教程，聚焦于四类关键数据处理：异构性、非线性、高维性以及分布式/并行数据处理。它引入了先进的数学框架——两阶段理论、核方法、鲁棒主成分分析以及基于ADMM的分布式优化，以实现智能、可扩展且高效的智能物联网应用数据分析。

ABSTRACT

Current research on Internet of Things (IoT) mainly focuses on how to enable general objects to see, hear, and smell the physical world for themselves, and make them connected to share the observations. In this paper, we argue that only connected is not enough, beyond that, general objects should have the capability to learn, think, and understand both the physical world by themselves. On the other hand, the future IoT will be highly populated by large numbers of heterogeneous networked embedded devices, which are generating massive or big data in an explosive fashion. Although there is a consensus among almost everyone on the great importance of big data analytics in IoT, to date, limited results, especially the mathematical foundations, are obtained. These practical needs impels us to propose a systematic tutorial on the development of effective algorithms for big data analytics in future IoT, which are grouped into four classes: 1) heterogeneous data processing, 2) nonlinear data processing, 3) high-dimensional data processing, and 4) distributed and parallel data processing. We envision that the presented research is offered as a mere baby step in a potentially fruitful research direction. We hope that this article, with interdisciplinary perspectives, will stimulate more interests in research and development of practical and effective algorithms for specific IoT applications, to enable smart resource allocation, automatic network operation, and intelligent service provisioning.

研究动机与目标

• 解决未来物联网中智能数据分析的迫切需求，其中互联设备不仅需要感知，还需具备学习、思考和理解物理世界的能力。
• 通过在大规模物联网网络中实现去中心化、分布式和并行数据分析，克服当前集中式、不可扩展的数据处理的局限性。
• 开发基于数学基础的实用算法，以应对物联网大数据所特有的挑战，包括数据异构性、非线性、高维性以及可扩展性。
• 激发跨学科研究，推动面向实际物联网应用的有效算法发展，支持智能资源分配、自动化网络运维以及智能服务提供。

提出的方法

• 利用两阶段理论对具有非相同边缘分布的异构传感器数据进行建模与融合，相比传统乘积或高斯模型，能更准确地估计联合概率分布。
• 应用核方法与再生核希尔伯特空间（RKHS），对物联网数据中的非线性关系进行建模，通过基于核的学习框架实现非线性数据处理。
• 通过凸优化方法应用鲁棒主成分分析（RPCA），将高维数据分解为低秩与稀疏分量，有效分离出有意义的信号与噪声或异常值。
• 利用交替方向乘子法（ADMM）将集中式优化问题分布到互联的物联网设备上，实现具有收敛性保证的可扩展、去中心化数据处理。
• 将全局优化问题重新表述为带有局部变量和共享全局变量的共识问题，支持节点间并行计算，通过迭代更新与共识步骤实现。
• 通过以局部邻域平均替代中心融合的方式，将ADMM算法适配于多跳物联网网络，确保在去中心化环境中具备可扩展性与容错能力。

实验结果

研究问题

• RQ1 在概率分布不同的传感器数据中，如何在物联网系统中有效融合与分析异构数据？
• RQ2 何种数学框架能够实现物联网应用中稳健的非线性数据处理，尤其在传统线性模型失效时？
• RQ3 如何高效地将高维物联网数据分解为有意义的低秩与稀疏分量，以实现降噪与特征提取？
• RQ4 何种分布式优化框架能够实现在去中心化物联网网络中的可扩展、容错且并行的数据处理？
• RQ5 基于ADMM的分布式算法是否能在减少通信开销并避免单点故障的同时，保持与集中式解决方案相近的性能？

主要发现

• 与传统乘积或高斯模型相比，基于两阶段理论的建模显著提升了异构数据联合概率估计的准确性，尤其在边缘分布不同时表现更优。
• 在RKHS中基于核的方法通过将数据映射到更高维特征空间，使非线性模式变为线性可分，从而实现有效的非线性数据处理。
• 基于RPCA的分解方法成功地将高维物联网数据中的低秩与稀疏分量分离，其优化问题（10）为凸问题，可通过高效算法求解。
• 基于ADMM的分布式处理在去中心化物联网网络中可收敛至全局最优解，且该算法可实现多跳、对等网络环境下的分布式部署。
• 通过以局部邻域平均替代集中式融合，所提出的分布式ADMM框架实现了可扩展且鲁棒的数据分析，增强了容错能力并降低了通信负载。
• 所提出的框架为未来物联网数据分析提供了坚实的数学基础，为实现智能、自适应且自主的物联网系统铺平了道路，支持智能资源分配与服务提供。