[论文解读] Fast and Sample-Efficient Federated Low Rank Matrix Recovery from column-wise Linear and Quadratic Projections

Seyedehsara, Nayer+1 more|arXiv (Cornell University)|Feb 20, 2021

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

该论文提出 AltGD-Min，一种用于从列方向线性和二次投影中进行联邦低秩矩阵恢复的快速、样本高效且通信高效的梯度下降算法。在高斯随机投影矩阵下，其样本复杂度为 $\tilde{O}((n+q)r^2/\log(1/\epsilon))$，时间复杂度为 $\tilde{O}(m q n r /\log(1/\epsilon))$，优于以往方法，在速度和样本效率方面表现更优，同时实现指数级误差衰减，并在联邦设置中实现 $nr$ 的每节点通信成本。

ABSTRACT

We study the following lesser-known low rank (LR) recovery problem: recover an $n imes q$ rank-$r$ matrix, $X^* =[x^*_1 , x^*_2, ..., x^*_q]$, with $r \ll \min(n,q)$, from $m$ independent linear projections of each of its $q$ columns, i.e., from $y_k := A_k x^*_k , k \in [q]$, when $y_k$ is an $m$-length vector with $m < n$. The matrices $A_k$ are known and mutually independent for different $k$. We introduce a novel gradient descent (GD) based solution called AltGD-Min. We show that, if the $A_k$s are i.i.d. with i.i.d. Gaussian entries, and if the right singular vectors of $X^*$ satisfy the incoherence assumption, then $ε$-accurate recovery of $X^*$ is possible with order $(n+q) r^2 \log(1/ε)$ total samples and order $ mq nr \log (1/ε)$ time. Compared with existing work, this is the fastest solution. For $ε< r^{1/4}$, it also has the best sample complexity. A simple extension of AltGD-Min also provably solves LR Phase Retrieval, which is a magnitude-only generalization of the above problem. AltGD-Min factorizes the unknown $X$ as $X = UB$ where $U$ and $B$ are matrices with $r$ columns and rows respectively. It alternates between a (projected) GD step for updating $U$, and a minimization step for updating $B$. Its each iteration is as fast as that of regular projected GD because the minimization over $B$ decouples column-wise. At the same time, we can prove exponential error decay for it, which we are unable to for projected GD. Finally, it can also be efficiently federated with a communication cost of only $nr$ per node, instead of $nq$ for projected GD.

研究动机与目标

• 解决各列独立线性投影下的低秩矩阵恢复这一尚未充分探索的问题，称为低秩列向压缩感知（LRcCS）。
• 在联邦设置下，开发一种可证明正确、快速且通信高效的 LRcCS 算法，每轮节点间数据交换量最小化。
• 与现有凸松弛和交替最小化方法相比，实现更优的样本复杂度和时间复杂度。
• 将方法扩展至解决 LR 相位恢复问题，即 LRcCS 的仅幅度版本，具有理论保证。
• 通过一种新颖的交替最小化方案实现列方向解耦更新，实现恢复过程中的指数级误差衰减。

提出的方法

• AltGD-Min 将未知矩阵 $\bm{X}^*$ 因子分解为 $\bm{X}^* = \bm{U} \bm{B}$，其中 $\bm{U}$ 是一个 $n \times r$ 的正交基矩阵，$\bm{B}$ 是一个 $r \times q$ 的系数矩阵。
• 它在更新 $\bm{U}$ 时采用投影梯度下降步骤，在更新 $\bm{B}$ 时采用闭式最小化步骤，该步骤实现列方向解耦，从而实现快速计算。
• 使用子空间距离（SD）度量 $\mathrm{SD}(\bm{U}_1, \bm{U}_2) = \| (\bm{I} - \bm{U}_1\bm{U}_1^\top)\bm{U}_2 \|_F$ 来追踪收敛性和子空间对齐情况。
• 通过将线性投影替换为仅幅度的测量 $\bm{y}_{(\text{mag})} = |\bm{A}_k \bm{x}_k^*|$，将该方法扩展至 LR 相位恢复，同时保持可证明的恢复保证。
• 通过每轮仅传输 $nr$ 个参数而非 $nq$ 个，实现通信效率，支持可扩展的联邦部署。
• 理论分析基于 $\bm{X}^*$ 右奇异向量的非相干性假设，以及 i.i.d. 高斯随机投影矩阵 $\bm{A}_k$。

实验结果

研究问题

• RQ1 基于梯度的方法能否在收敛速度和样本复杂度上优于现有的凸松弛和交替最小化方法，用于 LRcCS？
• RQ2 所提出的 AltGD-Min 算法能否在列方向投影的低秩矩阵恢复中实现指数级误差衰减？
• RQ3 AltGD-Min 能否在每节点通信成本为 $O(nr)$ 的条件下高效实现联邦化，显著降低带宽消耗？
• RQ4 在与先前工作相同的假设下，该算法是否仍能保持可证明的恢复保证，同时实现更优的时间和样本复杂度？
• RQ5 该方法能否被扩展用于解决 LR 相位恢复问题，且具备相似的理论保证和效率？

主要发现

• AltGD-Min 以 $\tilde{O}((n+q)r^2 \log(1/\epsilon))$ 的总样本数实现对 $n \times q$ 秩-$r$ 矩阵的 $\epsilon$-精确恢复，当 $\epsilon < r^{1/4}$ 时为最优。
• 该算法运行时间复杂度为 $\tilde{O}(m q n r \log(1/\epsilon))$，在 i.i.d. 高斯随机投影矩阵下，是目前已知最快的 LRcCS 方法。
• 该方法确保了指数级误差衰减，这是标准投影梯度下降无法证明的性质。
• 在联邦设置中，通信成本降低至每轮每节点 $nr$，显著优于需传输 $nq$ 的方法，提升了可扩展性。
• 该算法被扩展至 LR 相位恢复，并在相同假设下保持可证明的恢复保证。
• 理论分析证实，该方法在标准非相干性和高斯随机投影假设下成立，通过次高斯浓度和 $\epsilon$-网论证推导出高概率界。