[论文解读] Low-rank Tensor Estimation via Riemannian Gauss-Newton: Statistical Optimality and Second-Order Convergence

Yuetian Luo, Anru R. Zhang|arXiv (Cornell University)|Apr 24, 2021

Tensor decomposition and applications参考文献 109被引用 8

一句话总结

该论文提出了一种Riemannian Gauss-Newton（RGN）方法，用于在噪声线性测量下进行低秩张量估计，首次在噪声设定下证明了局部二次收敛速率，并实现了统计最优性。该工作建立了估计误差的匹配上下界，表明RGN在保持二阶收敛性的同时实现了最优统计性能。

ABSTRACT

In this paper, we consider the estimation of a low Tucker rank tensor from a number of noisy linear measurements. The general problem covers many specific examples arising from applications, including tensor regression, tensor completion, and tensor PCA/SVD. We consider an efficient Riemannian Gauss-Newton (RGN) method for low Tucker rank tensor estimation. Different from the generic (super)linear convergence guarantee of RGN in the literature, we prove the first local quadratic convergence guarantee of RGN for low-rank tensor estimation in the noisy setting under some regularity conditions and provide the corresponding estimation error upper bounds. A deterministic estimation error lower bound, which matches the upper bound, is provided that demonstrates the statistical optimality of RGN. The merit of RGN is illustrated through two machine learning applications: tensor regression and tensor SVD. Finally, we provide the simulation results to corroborate our theoretical findings.

研究动机与目标

• 开发一种高效优化方法，用于从噪声线性测量中估计低Tucker秩张量。
• 在噪声设定下，为Riemannian Gauss-Newton（RGN）在低秩张量估计中建立首个局部二次收敛保证。
• 通过推导估计误差的上下界匹配，证明RGN的统计最优性。
• 通过张量回归和张量SVD中的应用，展示该方法的有效性。
• 在不同噪声和采样条件下，通过仿真结果验证理论发现。

提出的方法

• 该论文将低秩张量估计问题表述为在固定Tucker秩张量流形上的Riemannian优化问题。
• 应用Riemannian Gauss-Newton（RGN）算法，迭代最小化满足Tucker秩约束的最小二乘损失。
• 关键组件包括在因子矩阵的Stiefel流形乘积上的Riemannian Hessian计算和类似信赖域的更新。
• 理论分析利用一种新颖的Riemannian隐函数定理，在正则性条件下建立了局部二次收敛性。
• 通过噪声和张量投影算子的浓度不等式推导估计误差界。
• 推导出估计误差的确定性下界，以证明统计最优性，该下界与上界匹配。

实验结果

研究问题

• RQ1 Riemannian Gauss-Newton方法在存在噪声的情况下，是否能实现低秩张量估计的局部二次收敛？
• RQ2 RGN的估计误差能否被紧密界定，且是否与极小极大下界匹配？
• RQ3 RGN方法在张量回归和张量SVD等不同模型中是否具有统计最优性？
• RQ4 与其它低秩张量估计算法相比，RGN方法在实际中的表现如何？
• RQ5 在噪声张量估计设定下，实现二次收敛和统计最优性所需的正则性条件是什么？

主要发现

• RGN方法在噪声线性测量下实现了低秩张量估计的局部二次收敛，这是该设定下的首次成果。
• RGN的估计误差上界为$ C \frac{\rho \tau}{n} $，其中$ \rho $和$ \tau $为张量复杂度度量，$ n $为样本量。
• 估计误差的确定性下界与上界匹配，证明RGN在常数因子范围内具有统计最优性。
• 该方法在张量回归和张量SVD中得到验证，展现出与理论一致的强经验性能。
• 浓度结果表明，测量过程中的噪声以高概率受到控制，从而实现紧密的误差控制。
• 理论保证在标准正则性条件下成立，包括线性映射$ \nabla \nabla f $的非相干性和限制等距性质。