[论文解读] Provable Sparse Tensor Decomposition

Will Wei Sun, Junwei Lu+2 more|arXiv (Cornell University)|Feb 5, 2015

Tensor decomposition and applications参考文献 54被引用 4

一句话总结

本文提出张量截断幂（TTP）方法，一种可证明稀疏的张量分解技术，通过截断步骤将变量选择整合到张量幂迭代中，仅保留最大s个幅值分量。该方法在高维设置下实现了改进的统计速率，具备局部与全局收敛的理论保证，并通过模拟和实际应用（如点击率预测与基因聚类）得到验证。

ABSTRACT

We propose a novel sparse tensor decomposition method, namely Tensor Truncated Power (TTP) method, that incorporates variable selection into the estimation of decomposition components. The sparsity is achieved via an efficient truncation step embedded in the tensor power iteration. Our method applies to a broad family of high dimensional latent variable models, including high dimensional Gaussian mixture and mixtures of sparse regressions. A thorough theoretical investigation is further conducted. In particular, we show that the final decomposition estimator is guaranteed to achieve a local statistical rate, and further strengthen it to the global statistical rate by introducing a proper initialization procedure. In high dimensional regimes, the obtained statistical rate significantly improves those shown in the existing non-sparse decomposition methods. The empirical advantages of TTP are confirmed in extensive simulated results and two real applications of click-through rate prediction and high-dimensional gene clustering.

研究动机与目标

• 为解决在高维稀疏数据场景下非稀疏张量分解方法的局限性，其中许多特征无关紧要。
• 开发一种可同时执行张量分解与特征选择的方法，以提升可解释性与统计效率。
• 在高维渐近设置下，为稀疏张量估计建立严格的理论保证——包括局部与全局统计速率。
• 提供一种数据驱动的初始化程序（稀疏SVD），以确保收敛至全局最优解。

提出的方法

• 提出张量截断幂（TTP）算法，在每次张量幂迭代后应用截断步骤，仅保留每个分量中s个最大幅值的条目。
• 使用软阈值或硬阈值规则以实现稀疏性，其中s作为调参，远小于张量维度d。
• 结合基于稀疏SVD的初始化程序，将初始估计置于全局收敛的吸引域内。
• 采用多线性投影框架分析张量切片，并利用奇异向量近似推导误差界。
• 理论分析利用集中不等式与范数界（如∥E eF ∥ ≤ η(E, d0 + s)）控制扰动影响。
• 每轮迭代推导出收缩结果，表明在适当初始化下估计误差可几何级递减。

实验结果

研究问题

• RQ1 在高维设置下，能否使张量分解保持稀疏性，同时维持统计一致性？
• RQ2 在幂迭代中引入截断步骤是否能相比非稀疏方法提升统计速率？
• RQ3 能否通过可证明的初始化程序确保全局收敛至真实分解分量？
• RQ4 该方法在真实世界应用中（如点击率与高维基因表达数据）表现如何？
• RQ5 在稀疏性与噪声条件下，最终估计器的理论统计速率是什么？（例如，ϵR = O(η(E, d0 + s) + √K/d0）

主要发现

• TTP方法在高维环境下实现了全局统计速率ϵR = O(η(E, d0 + s) + √K/d0)，显著优于非稀疏方法。
• 稀疏SVD初始化确保估计器位于吸引域内，从而实现全局收敛。
• 理论分析确认估计误差在O(log(ϵ0/ϵR))轮迭代内以高概率几何级收缩。
• 实证结果表明，在点击率预测与高维基因聚类任务中，性能优于基线方法。
• 该方法成功识别出相关特征（如关键基因或用户-项目-上下文模式），提升了可解释性。
• 截断步骤有效去除噪声与无关特征，同时提升准确率与模型可解释性。