[論文レビュー] Fast and Sample-Efficient Federated Low Rank Matrix Recovery from column-wise Linear and Quadratic Projections

Seyedehsara, Nayer+1 more|arXiv (Cornell University)|Feb 20, 2021

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、列方向の線形および2次射影からのフェデレーテッド低ランク行列回復のための高速でサンプル効率的かつ通信効率的な勾配降下法、AltGD-Minを提案する。ガウススケッチ行列を用いる場合、$\tilde{O}((n+q)r^2/\log(1/\epsilon))$ のサンプル複雑度と $\tilde{O}(m q n r /\log(1/\epsilon))$ の時間複雑度を達成し、従来手法を上回る速度とサンプル効率性を実現するとともに、指数的誤差減少と $nr$ の通信コスト（ノード1つあたり）を伴うフェデレーテッド展開を可能にする。

ABSTRACT

We study the following lesser-known low rank (LR) recovery problem: recover an $n imes q$ rank-$r$ matrix, $X^* =[x^*_1 , x^*_2, ..., x^*_q]$, with $r \ll \min(n,q)$, from $m$ independent linear projections of each of its $q$ columns, i.e., from $y_k := A_k x^*_k , k \in [q]$, when $y_k$ is an $m$-length vector with $m < n$. The matrices $A_k$ are known and mutually independent for different $k$. We introduce a novel gradient descent (GD) based solution called AltGD-Min. We show that, if the $A_k$s are i.i.d. with i.i.d. Gaussian entries, and if the right singular vectors of $X^*$ satisfy the incoherence assumption, then $ε$-accurate recovery of $X^*$ is possible with order $(n+q) r^2 \log(1/ε)$ total samples and order $ mq nr \log (1/ε)$ time. Compared with existing work, this is the fastest solution. For $ε< r^{1/4}$, it also has the best sample complexity. A simple extension of AltGD-Min also provably solves LR Phase Retrieval, which is a magnitude-only generalization of the above problem. AltGD-Min factorizes the unknown $X$ as $X = UB$ where $U$ and $B$ are matrices with $r$ columns and rows respectively. It alternates between a (projected) GD step for updating $U$, and a minimization step for updating $B$. Its each iteration is as fast as that of regular projected GD because the minimization over $B$ decouples column-wise. At the same time, we can prove exponential error decay for it, which we are unable to for projected GD. Finally, it can also be efficiently federated with a communication cost of only $nr$ per node, instead of $nq$ for projected GD.

研究の動機と目的

• 各列の独立な線形射影からの低ランク行列回復という未解明の問題に取り組むこと。これを低ランク列方向圧縮センシング（LRcCS）と呼ぶ。
• フェデレーテッド環境下で、ノード1つあたりのデータ交換を最小限に抑えた、理論的に正しい、高速で通信効率の良いLRcCS用のアルゴリズムを開発すること。
• 従来の凸緩和法および交互最小化法と比較して、優れたサンプル複雑度および時間複雑度を達成すること。
• LRcCSの大きさのみの変種、LR位相再構成（LR Phase Retrieval）を解くために、この手法を拡張し、理論的保証を維持すること。
• 列方向の更新を分離した新しい交互最小化スキームにより、回復における指数的誤差減少を実現すること。

提案手法

• 未知行列 $\bm{X}^*$ を $\bm{X}^* = \bm{U} \bm{B}$ と因子分解し、$\bm{U}$ を $n \times r$ の正規直交基底行列、$\bm{B}$ を $r \times q$ の係数行列とする。
• $\bm{U}$ の更新には射影勾配降下ステップを、$\bm{B}$ の更新には閉形式最小化ステップを交互に適用し、列方向に分離することで高速計算を実現する。
• 収束と部分空間整合性の追跡に、部分空間距離（SD）測度 $\mathrm{SD}(\bm{U}_1, \bm{U}_2) = \| (\bm{I} - \bm{U}_1\bm{U}_1^\top)\bm{U}_2 \|_F$ を用いる。
• 線形射影を大きさのみの測定値 $\bm{y}_{(\text{mag})} = |\bm{A}_k \bm{x}_k^*|$ に置き換えることで、LR位相再構成に拡張し、理論的回復保証を維持する。
• ノード1回あたり $nq$ ではなく $nr$ のパラメータのみを送信することで、通信効率を実現し、スケーラブルなフェデレーテッド展開を可能にする。
• 理論的分析は、$\bm{X}^*$ の右特異ベクトルに対する非一様性仮定と、i.i.d. ガウススケッチ行列 $\bm{A}_k$ に依存する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの手法は、従来の凸緩和法および交互最小化法と比較して、LRcCSにおける収束速度とサンプル複雑度を向上させられるか？
• RQ2 提案されたAltGD-Minアルゴリズムは、列方向の射影からの低ランク行列回復において指数的誤差減少を達成できるか？
• RQ3 AltGD-Minは、ノード1つあたり $O(nr)$ の通信コストで、効率的にフェデレーテッド化可能か？これは、標準的手法と比較して帯域幅を著しく削減する。
• RQ4 同様の仮定のもとで、従来の研究と同等の理論的回復保証を維持しながら、時間複雑度とサンプル複雑度を向上させられるか？
• RQ5 この手法は、同様の理論的保証と効率性を維持する形で、LR位相再構成を解くために拡張可能か？

主な発見

• AltGD-Minは、$n \times q$ のランク$-r$ 行列を $\tilde{O}((n+q)r^2 \log(1/\epsilon))$ の総サンプル数で $\epsilon$-精度の回復を達成し、$\epsilon < r^{1/4}$ の場合に最適である。
• アルゴリズムの実行時間は $\tilde{O}(m q n r \log(1/\epsilon))$ であり、i.i.d. ガウススケッチ行列下でLRcCSの既知で最も高速な手法である。
• 指数的誤差減少を保証する。これは、標準的な射影勾配降下法では理論的に示せない性質である。
• フェデレーテッド環境下では、ノード1回あたりの通信コストが $nr$ にまで低減され、$nq$ を必要とする手法と比較してスケーラビリティが著しく向上する。
• アルゴリズムはLR位相再構成に拡張され、同様の仮定のもとで理論的回復保証を維持する。
• 理論的分析により、標準的な非一様性仮定とガウススケッチ仮定のもとで、高い確率で手法が有効であることが確認され、サブガウス分布の集中とエpsilonネットの議論により、確率的バウンドが導出された。