[论文解读] Guarantees of Augmented Trace Norm Models in Tensor Recovery

Ziqiang Shi, Jiqing Han+3 more|arXiv (Cornell University)|Jul 23, 2012

Tensor decomposition and applications参考文献 9被引用 3

一句话总结

本文为张量恢复中的增强迹范数模型建立了恢复保证，表明在与核范数最小化相似的条件下，最小化 $\|\mathcal{X}\|_{*} + \frac{1}{2\alpha}\|\mathcal{X}\|_{F}^{2}$ 可精确恢复低秩张量。证明了当感知算子满足零空间、受限等距性或球面截面性质时，$\alpha \geq 10\max_i\|X^{0}_{(i)}\|_{2}$ 可确保精确恢复。

ABSTRACT

This paper studies the recovery guarantees of the models of minimizing $\|\mathcal{X}\|_*+\frac{1}{2α}\|\mathcal{X}\|_F^2$ where $\mathcal{X}$ is a tensor and $\|\mathcal{X}\|_*$ and $\|\mathcal{X}\|_F$ are the trace and Frobenius norm of respectively. We show that they can efficiently recover low-rank tensors. In particular, they enjoy exact guarantees similar to those known for minimizing $\|\mathcal{X}\|_*$ under the conditions on the sensing operator such as its null-space property, restricted isometry property, or spherical section property. To recover a low-rank tensor $\mathcal{X}^0$, minimizing $\|\mathcal{X}\|_*+\frac{1}{2α}\|\mathcal{X}\|_F^2$ returns the same solution as minimizing $\|\mathcal{X}\|_*$ almost whenever $α\geq10\mathop {\max}\limits_{i}\|X^0_{(i)}\|_2$.

研究动机与目标

• 为使用增强迹范数模型的凸张量恢复建立理论恢复保证。
• 将现有的矩阵层面恢复条件（如零空间性质（NSP）、受限等距性质（RIP）和球面截面性质（SSP））扩展到张量情形。
• 分析增强模型 $\|\mathcal{X}\|_{*} + \frac{1}{2\alpha}\|\mathcal{X}\|_{F}^{2}$ 在何种条件下能精确恢复真实的低秩张量 $\mathcal{X}^0$，使其性能与标准核范数最小化相当。
• 量化确保增强模型与标准核范数最小化在恢复中等价的 $\alpha$ 的阈值。

提出的方法

• 本文将张量恢复问题表述为在满足线性测量 $\mathfrak{F}(\mathcal{X}) = b$ 的条件下最小化 $\|\mathcal{X}\|_{*} + \frac{1}{2\alpha}\|\mathcal{X}\|_{F}^{2}$。
• 定义张量核范数为 $\|\mathcal{X}\|_{*} = \frac{1}{N}\sum_{i=1}^{N}\|X_{(i)}\|_{*}$，其中 $X_{(i)}$ 是 $\mathcal{X}$ 的第 $i$ 模式展开。
• 通过利用零空间条件、受限等距性质（RIP）和球面截面性质（SSP）来推导精确恢复的充分条件。
• 推导关键不等式以有界 $\mathcal{H} \in \text{Null}(\mathfrak{F})$ 的比值 $\|\mathcal{H}\|_{*}/\|\mathcal{H}\|_{F}$，确保零空间条件成立。
• 推导了 $\alpha$ 的理论界，以 $\|X^{0}_{(i)}\|_{2}$ 表示，表明当 $\alpha \geq 10\max_i\|X^{0}_{(i)}\|_{2}$ 时，在 RIP 和 SSP 条件下可确保精确恢复。
• 本文利用所有模式展开上的奇异值分解和迹范数性质，将基于矩阵的恢复理论推广至张量。

实验结果

研究问题

• RQ1 在何种条件下，增强张量核范数模型 $\|\mathcal{X}\|_{*} + \frac{1}{2\alpha}\|\mathcal{X}\|_{F}^{2}$ 能精确恢复低秩张量 $\mathcal{X}^0$？
• RQ2 参数 $\alpha$ 如何影响增强模型与标准核范数最小化在张量恢复中的等价性？
• RQ3 零空间性质（NSP）、受限等距性质（RIP）和球面截面性质（SSP）能否被推广至使用增强模型的张量恢复？
• RQ4 对于给定的低秩张量 $\mathcal{X}^0$，确保精确恢复的 $\alpha$ 的最小值是多少？

主要发现

• 当 $\alpha \geq 10\max_i\|X^{0}_{(i)}\|_{2}$ 时，在 RIP 或 SSP 条件下，增强模型 $\|\mathcal{X}\|_{*} + \frac{1}{2\alpha}\|\mathcal{X}\|_{F}^{2}$ 可精确恢复真实的低秩张量 $\mathcal{X}^0$。
• 当 $\delta_{(I_1,\dots,2r_n,\dots,I_N)} < 0.4715$ 时，若 $\alpha \geq 10\max_i\|X^{0}_{(i)}\|_{2}$，则通过受限等距性质可确保精确恢复。
• 球面截面性质（SSP）条件 $\|\mathcal{H}\|_{*}/\|\mathcal{H}\|_{F} \geq \sqrt{m/\triangle}$，结合 $m \geq (2 + \|X^{0}_{(i)}\|_{2}/\alpha)^2 r_i \triangle$，可保证对所有 $i=1,\dots,N$ 的精确恢复。
• 若 $\|\mathcal{H}\|_{*} \geq \max_i (2 + \|X^{0}_{(i)}\|_{2}/\alpha)\sqrt{r_i}\|\mathcal{H}\|_{F}$，则满足零空间条件，且该不等式在推导出的 $\alpha$ 边界下成立。
• 本文建立的结论表明，当 $\alpha \geq 10\max_i\|X^{0}_{(i)}\|_{2}$ 时，增强模型可实现与标准核范数最小化相同的恢复性能。
• 当 $\delta = 0.4404$ 时，所需的 $\alpha$ 约为 $9.9849\|X^{0}_{(i)}\|_{2}$，支持 $10\max_i\|X^{0}_{(i)}\|_{2}$ 作为充分阈值。