[论文解读] Era of Big Data Processing: A New Approach via Tensor Networks and Tensor Decompositions

Andrzej Cichocki|arXiv (Cornell University)|Mar 9, 2014

Tensor decomposition and applications参考文献 86被引用 211

一句话总结

本文提出张量网络（TNs）与张量分解（TDs）作为一种可扩展的框架，用于分析大规模、多维的海量数据，通过低秩近似实现高效压缩、降维和分布式处理。主要贡献在于为神经科学、机器学习和信号处理应用中高多样性、高速度、高可信度数据的隐藏结构提取提供了统一的数学基础。

ABSTRACT

Many problems in computational neuroscience, neuroinformatics, pattern/image recognition, signal processing and machine learning generate massive amounts of multidimensional data with multiple aspects and high dimensionality. Tensors (i.e., multi-way arrays) provide often a natural and compact representation for such massive multidimensional data via suitable low-rank approximations. Big data analytics require novel technologies to efficiently process huge datasets within tolerable elapsed times. Such a new emerging technology for multidimensional big data is a multiway analysis via tensor networks (TNs) and tensor decompositions (TDs) which represent tensors by sets of factor (component) matrices and lower-order (core) tensors. Dynamic tensor analysis allows us to discover meaningful hidden structures of complex data and to perform generalizations by capturing multi-linear and multi-aspect relationships. We will discuss some fundamental TN models, their mathematical and graphical descriptions and associated learning algorithms for large-scale TDs and TNs, with many potential applications including: Anomaly detection, feature extraction, classification, cluster analysis, data fusion and integration, pattern recognition, predictive modeling, regression, time series analysis and multiway component analysis. Keywords: Large-scale HOSVD, Tensor decompositions, CPD, Tucker models, Hierarchical Tucker (HT) decomposition, low-rank tensor approximations (LRA), Tensorization/Quantization, tensor train (TT/QTT) - Matrix Product States (MPS), Matrix Product Operator (MPO), DMRG, Strong Kronecker Product (SKP).

研究动机与目标

• 解决计算神经科学与机器学习中高数据量、高速度、高多样性与高可信度数据带来的挑战。
• 克服传统基于矩阵的方法在处理多维度、多模态、高维数据时的局限性。
• 开发用于大规模张量网络与分解的可扩展、分布式算法，以实现实时或近实时处理。
• 通过低秩张量近似技术，实现对噪声、不完整或缺失数据的稳健分析。
• 建立统一框架，将盲源分离与两路分量分析推广至多路分量分析（MWCA），以支持复杂数据融合与整合。

提出的方法

• 利用张量网络（TNs）通过互联的低阶张量表示高阶张量，实现分布式与并行计算。
• 采用低秩张量近似（LRA）技术，结合典型多维分解（CPD）、Tucker、张量列车（TT）与分层Tucker（HT）格式，实现数据压缩与结构发现。
• 实施张量化与量化（QTT）技术，将大型矩阵或张量转换为更高阶张量网络格式，以实现高效存储与计算。
• 利用矩阵乘积态（MPS）与矩阵乘积算子（MPO）建模时空与频谱数据中的复杂依赖关系。
• 集成Map-Reduce与分治范式，将计算规模扩展至包含数十亿个非零元素的张量。
• 采用交替最小二乘法（ALS）、MALS与DMRG等迭代算法，在张量网络与分解框架中实现优化。

实验结果

研究问题

• RQ1 张量网络与分解如何有效压缩并分析具有高数据量与多样性的多维海量数据？
• RQ2 处理大规模张量实现实时或近实时处理的最可扩展且容错的计算框架是什么？
• RQ3 低秩张量近似如何在噪声、不完整或缺失数据中保留有意义的隐藏结构？
• RQ4 对张量网络核心施加何种约束，可实现科学数据中物理可解释的潜在变量提取？
• RQ5 如何利用耦合张量网络建模与分析具有共享与独立成分的多区块、多模态数据？

主要发现

• 张量网络通过低秩因子矩阵与核心张量表示大规模结构化数据，实现‘超压缩’，显著降低存储与计算成本。
• TT/QTT与HT格式支持在TB甚至PB量级数据上实现高效计算，支持分布式与容错处理。
• 低秩张量近似能有效处理噪声、不完整与缺失数据，在神经科学与信号处理等实际应用中表现出强鲁棒性。
• 张量网络将传统两路分量分析与盲源分离推广至多路分析，支持在多个数据模式间发现多线性关系。
• 张量化与量化技术的整合可将大型矩阵转换为张量网络格式，为特征值分析与大规模线性系统求解提供可扩展解决方案。
• 具有共享成分的耦合张量网络可建模跨多个受试者或模态的复杂数据融合任务，如神经影像与行为数据的整合。