[论文解读] List Decodable Subspace Recovery

Prasad Raghavendra, Morris Yau|arXiv (Cornell University)|Feb 7, 2020

Sparse and Compressive Sensing Techniques参考文献 15被引用 8

一句话总结

本文提出了一种用于子空间恢复的列表可解算法，该算法利用矩和（SoS）认证与鲁棒估计，从受异常值污染的数据中恢复低维子空间。在抗集中性与有界噪声条件下，该方法实现了误差界为 $\mathcal{O}(\varepsilon/\eta^2 + ck\eta)$ 的稳定恢复，其中 $\varepsilon$ 控制噪声，$\eta$ 控制抗集中性，即使在对抗性污染下也能实现稳定恢复。

ABSTRACT

Learning from data in the presence of outliers is a fundamental problem in statistics. In this work, we study robust statistics in the presence of overwhelming outliers for the fundamental problem of subspace recovery. Given a dataset where an $α$ fraction (less than half) of the data is distributed uniformly in an unknown $k$ dimensional subspace in $d$ dimensions, and with no additional assumptions on the remaining data, the goal is to recover a succinct list of $O(\frac{1}α)$ subspaces one of which is nontrivially correlated with the planted subspace. We provide the first polynomial time algorithm for the 'list decodable subspace recovery' problem, and subsume it under a more general framework of list decoding over distributions that are "certifiably resilient" capturing state of the art results for list decodable mean estimation and regression.

研究动机与目标

• 开发一种在恒定比例数据点为对抗性异常值时仍具鲁棒性的子空间恢复算法。
• 解决在噪声存在下，从重尾或抗集中分布的数据中恢复低维子空间的挑战。
• 通过矩和（SoS）认证与加权估计，提供恢复子空间准确性的理论保证。
• 通过将松弛解四舍五入为有效投影矩阵，弥合理论鲁棒性与实际恢复之间的差距。

提出的方法

• 使用加权经验损失函数，以最小化投影数据与真实子空间之间的距离，其中权重 $w_i$ 表示数据的可靠性。
• 采用矩和（SoS）认证，推导数据与扰动向量之间内积的下界，利用抗集中性。
• 通过 SoS 推导，对 $\|P - \Pi P\|_F^2$ 建立 Frobenius 范数界，将其与总误差 $\varepsilon$ 和抗集中参数 $\eta$ 关联。
• 利用一个关键引理，推导出 $\|P - \Pi\|_F^2$ 的界，该引理将 $P - \Pi P$ 中的误差与完整投影误差联系起来。
• 通过将输出矩阵 $\Pi_i$ 投影到前 $k$ 个特征向量上，对 $\Pi_i$ 进行四舍五入，以获得有效的秩-$k$ 投影矩阵。
• 使用约束 $P^{(\alpha)}_{\text{sum}}(\bm{w})$ 对权重总和进行归一化，以确保最终误差界的稳定性。

实验结果

研究问题

• RQ1 列表可解子空间恢复算法是否能在对抗性异常值和抗集中数据分布下实现有界误差？
• RQ2 噪声水平 $\varepsilon$、抗集中性 $\eta$ 与维度 $k$ 之间的相互作用如何影响恢复误差？
• RQ3 当仅有一小部分数据为干净数据时，子空间恢复的理论鲁棒性极限是什么？
• RQ4 能否使用矩和（SoS）认证推导出投影误差 Frobenius 范数的紧致界？
• RQ5 如何将 SoS 程序输出的松弛非投影矩阵四舍五入为具有可控误差损失的有效投影矩阵？

主要发现

• 该算法实现了 Frobenius 范数误差界 $\|P - \Pi\|_F^2 \leq \mathcal{O}(\varepsilon/\eta^2 + ck\eta)$，其中 $\varepsilon$ 为总噪声能量，$\eta$ 控制抗集中性。
• 误差界与 $\eta^2$ 成反比，表明在数据分布抗集中性更强时，鲁棒性得到提升。
• 将输出矩阵的前 $k$ 个特征向量进行投影的四舍五入步骤仅引入恒定倍数的误差损失，从而保持了理论保证。
• 最终误差界通过权重总和 $\sum_i w_i$ 进行归一化，确保在数据可靠性变化时的稳定性。
• 该方法利用 SoS 认证推导出 $\|P - \Pi P\|_F^2$ 的紧致界，再通过一个关键引理将其转化为 $\|P - \Pi\|_F^2$ 的界。
• 分析表明，只要干净数据满足抗集中性，该算法即使在高达恒定比例的数据点为异常值时仍保持有效。