[论文解读] Low-Rank Tucker Approximation of a Tensor From Streaming Data

Yiming Sun, Yang Guo+3 more|arXiv (Cornell University)|Apr 24, 2019

Tensor decomposition and applications参考文献 41被引用 10

一句话总结

本文提出一种基于新型线性投影方法——Tucker Sketch 的单遍流式算法，用于低秩Tucker张量逼近。该方法能够捕捉所有模式上的多线性结构，实现最先进的性能并具有可证明的误差界，且仅需与核心张量自由度成比例的存储空间，从而实现对流式、分布式或外存数据中大规模张量的高效压缩与分析。

ABSTRACT

This paper describes a new algorithm for computing a low-Tucker-rank approximation of a tensor. The method applies a randomized linear map to the tensor to obtain a sketch that captures the important directions within each mode, as well as the interactions among the modes. The sketch can be extracted from streaming or distributed data or with a single pass over the tensor, and it uses storage proportional to the degrees of freedom in the output Tucker approximation. The algorithm does not require a second pass over the tensor, although it can exploit another view to compute a superior approximation. The paper provides a rigorous theoretical guarantee on the approximation error. Extensive numerical experiments show that that the algorithm produces useful results that improve on the state of the art for streaming Tucker decomposition.

研究动机与目标

• 解决大规模张量在主内存中无法容纳或按顺序生成时，计算低秩Tucker逼近的挑战。
• 开发一种仅需对数据单次遍历的算法，适用于流式、分布式或内存受限环境。
• 基于张量展开的尾部能量，提供逼近误差的理论保证。
• 实现在极低存储开销下、无需第二次数据遍历的高效张量压缩与下游任务（如聚类）。
• 设计一种基于投影的框架，支持单遍与双遍两种变体，以提升逼近精度。

提出的方法

• 提出Tucker Sketch——一种能捕捉每个张量模式主子空间及通过核心张量体现的多线性相互作用的线性投影。
• 通过在每个模式上应用随机降维映射构建该投影，确保线性特性并兼容流式与分布式数据。
• 直接从投影中通过截断QR分解计算低秩Tucker逼近，避免对原始张量的第二次遍历。
• 提出双遍变体，通过额外的数据访问提升逼近质量，在期望下达到HOSVD/ST-HOSVD的性能。
• 开发一种方法，在无需进一步数据访问的情况下，将输出的Tucker逼近压缩至固定秩，利用谱衰减自适应选择秩。
• 将投影本身用作紧凑摘要，用于下游任务（如聚类），实现高效的视频场景分类。

实验结果

研究问题

• RQ1 能否设计一种单遍算法，从流式或分布式数据中计算张量的低秩Tucker逼近，并提供可证明的误差保证？
• RQ2 Tucker Sketch如何在最小化存储需求的同时，保留所有张量模式上的多线性结构？
• RQ3 与现有流式张量分解技术相比，单遍Tucker投影方法在逼近精度方面有多大的性能提升？
• RQ4 是否可以不重建完整Tucker逼近，而直接使用投影进行聚类等下游任务？
• RQ5 双遍变体在逼近质量与收敛至HOOI性能方面，相比单遍方法有何改进？

主要发现

• 单遍Tucker投影算法的逼近误差界依赖于张量任意展开的尾部能量，提供了严格的理论保证。
• 双遍算法优于单遍方法，且随着存储预算增加，其性能趋近于HOOI，尤其在目标秩较小时表现更优。
• 在气候与燃烧模拟数据上，该算法即使在全数据无法装入内存时仍能成功压缩张量，实现高比率压缩且误差极低。
• 在视频场景分类任务中，该方法仅用1/500的存储空间，即可将帧分类为背景、含人物、光照变化三类，性能与先前工作相当。
• 直接使用投影进行聚类（无需完整Tucker重构）可获得有效结果，即使在空间维度上张量并非低秩时亦成立。
• 该方法在流式、分布式及内存受限环境下实现了高效可扩展的张量分析，存储开销仅与输出Tucker逼近的自由度成正比。