[论文解读] Convex Tensor Decomposition via Structured Schatten Norm Regularization

Ryota Tomioka, Taiji Suzuki|arXiv (Cornell University)|Mar 26, 2013

Sparse and Compressive Sensing Techniques参考文献 23被引用 70

一句话总结

本文提出了用于凸张量分解的结构化Schatten范数，提出了一种潜在的Schatten 1-范数方法，其通过以最小Tucker秩而非平均秩来缩放均方误差，从而优于传统的重叠方法。该方法确保了一致性、可识别性，并在真实张量仅在一个模式上低秩时表现出更优的去噪性能，其误差缩放行为得到了理论和实证验证。

ABSTRACT

We discuss structured Schatten norms for tensor decomposition that includes two recently proposed norms ("overlapped" and "latent") for convex-optimization-based tensor decomposition, and connect tensor decomposition with wider literature on structured sparsity. Based on the properties of the structured Schatten norms, we mathematically analyze the performance of "latent" approach for tensor decomposition, which was empirically found to perform better than the "overlapped" approach in some settings. We show theoretically that this is indeed the case. In particular, when the unknown true tensor is low-rank in a specific mode, this approach performs as good as knowing the mode with the smallest rank. Along the way, we show a novel duality result for structures Schatten norms, establish the consistency, and discuss the identifiability of this approach. We confirm through numerical simulations that our theoretical prediction can precisely predict the scaling behavior of the mean squared error.

研究动机与目标

• 为解决凸张量分解中重叠方法与潜在方法之间的统计性能差距。
• 理论上分析为何在真实张量仅在一个模式上低秩时，潜在方法优于重叠方法。
• 建立潜在Schatten 1-范数最小化框架的一致性与可识别性。
• 推导重叠与潜在Schatten范数之间的新颖对偶关系，将张量分解与结构化稀疏性文献联系起来。
• 通过均方误差缩放的数值模拟验证理论预测。

提出的方法

• 为张量分解提出一种潜在Schatten 1-范数正则化方法，将张量建模为各模式中低秩分量的混合。
• 引入一种结构化Schatten范数框架，利用对偶性原理，统一重叠与潜在方法。
• 对模式特定的展开使用核范数（Schatten 1-范数）正则化，以结构化、模式感知的方式诱导低秩结构。
• 推导重叠Schatten 1-范数与潜在Schatten 1-范数之间的对偶关系，扩展了结构化稀疏性理论中的结果。
• 通过理论分析，将潜在方法的均方误差上界表示为各模式中最小Tucker秩的函数。
• 通过在不同张量尺寸和潜在秩下进行的数值模拟验证预测结果，其中正则化常数按理论条件进行缩放。

实验结果

研究问题

• RQ1 为何在实践中，当真实张量仅在一个模式上低秩时，潜在方法在凸张量分解中优于重叠方法？
• RQ2 潜在方法的均方误差能否在真实张量的最小Tucker秩方面实现理论上的上界？
• RQ3 在适当条件下，潜在Schatten 1-范数最小化是否具有一致性和可识别性？
• RQ4 重叠与潜在Schatten范数之间存在何种对偶关系？其与结构化稀疏性的关系如何？
• RQ5 正则化常数的理论缩放是否能准确预测潜在方法在不同张量维度和秩下的经验性能？

主要发现

• 潜在方法的均方误差由真实张量的最小Tucker秩上界控制，解释了其在仅一个模式上低秩时的优越性能。
• 重叠方法的误差缩放于Tucker秩的平均值（平方根），因此在仅一个模式低秩时效果较差。
• 潜在方法在适当的正则化下具有一致性，理论误差界与实证观察结果一致。
• 数值模拟证实，均方误差的缩放行为与理论预测完全一致，无论张量尺寸还是潜在秩均成立。
• 潜在方法的最优正则化常数仅依赖于张量尺寸，而不依赖于潜在秩，从而在无需真实秩先验知识的情况下实现稳健性能。
• 潜在模型仅在真实张量在一个模式上低秩时具有可识别性，这与理论和实证发现的性能提升结果一致。