[论文解读] The Sup-norm Perturbation of HOSVD and Low Rank Tensor Denoising

Dong Xia, Fan Zhou|arXiv (Cornell University)|Jul 5, 2017

Tensor decomposition and applications被引用 18

一句话总结

本文在独立同分布高斯噪声下，为张量的高阶奇异值分解（HOSVD）建立了精确的上确界范数扰动界，提出了具有最优逐项误差率的估计器。研究揭示了在高维统计学习任务中存在非传统的相变现象，例如高斯混合模型中的精确聚类和子张量定位中的支撑集恢复。

ABSTRACT

The higher order singular value decomposition (HOSVD) of tensors is a generalization of matrix SVD. The perturbation analysis of HOSVD under random noise is more delicate than its matrix counterpart. Recently, polynomial time algorithms have been proposed where statistically optimal estimates of the singular subspaces and the low rank tensors are attainable in the Euclidean norm. In this article, we analyze the sup-norm perturbation bounds of HOSVD and introduce estimators of the singular subspaces with sharp deviation bounds in the sup-norm. We also investigate a low rank tensor denoising estimator and demonstrate its fast convergence rate with respect to the entry-wise errors. The sup-norm perturbation bounds reveal unconventional phase transitions for statistical learning applications such as the exact clustering in high dimensional Gaussian mixture model and the exact support recovery in sub-tensor localizations. In addition, the bounds established for HOSVD also elaborate the one-sided sup-norm perturbation bounds for the singular subspaces of unbalanced (or fat) matrices.

研究动机与目标

• 为解决在随机噪声下张量去噪中HOSVD缺乏上确界范数扰动分析的问题。
• 推导在上确界范数下对奇异子空间估计器的精确偏差界，优于现有的欧几里得范数结果。
• 研究在逐项误差度量下低秩张量去噪的统计性能。
• 揭示在高维统计学习任务（如精确聚类和支撑集恢复）中由上确界范数行为引发的非传统相变。
• 通过HOSVD分析将上确界范数界扩展至非平衡（或肥长）矩阵。

提出的方法

• 利用矩阵集中不等式和谱范数控制，推导HOSVD的上确界范数扰动界。
• 提出一种基于幂迭代的朴素SVD改进方法，以获得统计最优的奇异子空间估计器。
• 采用矩阵伯恩斯坦不等式和随机矩阵理论，控制张量展开中噪声分量的算子范数。
• 通过分解奇异子空间差异中的噪声贡献，分析去噪张量的逐项误差。
• 利用相干性参数 $\mu_{\mathbf{U}}, \mu_{\mathbf{V}}, \mu_{\mathbf{W}}$ 量化奇异向量的稀疏性，并控制上确界范数偏差。
• 利用 $d$ 的对数因子和信噪比缩放，建立对逐项误差 $|\langle \widetilde{\mathbf{A}} - \mathbf{A}, \mathbf{e}_i \otimes \mathbf{e}_j \otimes \mathbf{e}_k \rangle|$ 的高概率界。

实验结果

研究问题

• RQ1 在独立同分布高斯噪声下，通过HOSVD获得的奇异子空间的精确上确界范数扰动界是什么？
• RQ2 低秩张量去噪估计器的逐项误差如何随维度 $d$、秩 $r$ 和噪声方差 $\sigma^2$ 变化？
• RQ3 由于上确界范数行为，在精确聚类和支撑集恢复等统计学习任务中会涌现出何种相变？
• RQ4 HOSVD的上确界范数分析能否为非平衡矩阵的奇异子空间提供单边界？
• RQ5 相干性参数 $\mu_{\mathbf{U}}, \mu_{\mathbf{V}}, \mu_{\mathbf{W}}$ 在控制上确界范数偏差中起什么作用？

主要发现

• 去噪张量 $\widetilde{\mathbf{A}}$ 的上确界范数误差以高概率被控制在 $O_{p}\big(\sigma r^{3} \big( \frac{\sigma \widetilde{\kappa}(\mathbf{A})}{\bar{g}_{\min}(\mathbf{A})} + \frac{\widetilde{\kappa}^{2}(\mathbf{A})}{d} \big) \mu_{\mathbf{U}}\mu_{\mathbf{V}} + \cdots \big)$ 之内。
• 逐项误差界呈 $O_{p}\big(\frac{\sigma r^{2}}{d^{1/2}} \cdot \frac{\sigma \overline{\Lambda}(\mathbf{A}) r + \sigma^{2} d r}{\bar{g}_{\min}^{2}(\mathbf{A})} \mu_{\mathbf{U}}\mu_{\mathbf{V}}\mu_{\mathbf{W}} \log^{3/2}d \big)$ 的形式，反映出信号强度与相干性的影响。
• 通过上确界范数行为揭示了在精确聚类和支撑集恢复中的相变现象，其结果与经典欧几里得范数分析不同。
• 这些界表明，即使在高维设置下，基于HOSVD的估计器也能实现快速的逐项误差收敛速率。
• 作为张量分析的副产品，建立了非平衡矩阵奇异子空间的单边上确界范数扰动界。
• 分析表明，当 $\bar{g}_{\min}(\mathbf{A}) \gtrsim \sigma d^{3/4}$ 时，可有效控制扰动，从而实现精确的偏差界。