[논문 리뷰] Fast and Sample-Efficient Federated Low Rank Matrix Recovery from column-wise Linear and Quadratic Projections

Seyedehsara, Nayer외 1명|arXiv (Cornell University)|2021. 02. 20.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 열별 선형 및 이차 투영으로부터 피벗된 저질서 행렬 복구를 위한 빠르고 샘플 효율적이며 통신 효율적인 경사하강 알고리즘인 AltGD-Min을 제안한다. 가우시안 스케칭 행렬 하에서, $\tilde{O}((n+q)r^2/\log(1/\epsilon))$의 샘플 복잡도와 $\tilde{O}(m q n r /\log(1/\epsilon))$의 시간 복잡도를 달성하며, 기존 방법보다 빠른 속도와 샘플 효율성을 확보하고, 지수적 오차 감소와 $nr$의 통신 비용을 갖는 피벗된 배포를 가능하게 한다.

ABSTRACT

We study the following lesser-known low rank (LR) recovery problem: recover an $n imes q$ rank-$r$ matrix, $X^* =[x^*_1 , x^*_2, ..., x^*_q]$, with $r \ll \min(n,q)$, from $m$ independent linear projections of each of its $q$ columns, i.e., from $y_k := A_k x^*_k , k \in [q]$, when $y_k$ is an $m$-length vector with $m < n$. The matrices $A_k$ are known and mutually independent for different $k$. We introduce a novel gradient descent (GD) based solution called AltGD-Min. We show that, if the $A_k$s are i.i.d. with i.i.d. Gaussian entries, and if the right singular vectors of $X^*$ satisfy the incoherence assumption, then $ε$-accurate recovery of $X^*$ is possible with order $(n+q) r^2 \log(1/ε)$ total samples and order $ mq nr \log (1/ε)$ time. Compared with existing work, this is the fastest solution. For $ε< r^{1/4}$, it also has the best sample complexity. A simple extension of AltGD-Min also provably solves LR Phase Retrieval, which is a magnitude-only generalization of the above problem. AltGD-Min factorizes the unknown $X$ as $X = UB$ where $U$ and $B$ are matrices with $r$ columns and rows respectively. It alternates between a (projected) GD step for updating $U$, and a minimization step for updating $B$. Its each iteration is as fast as that of regular projected GD because the minimization over $B$ decouples column-wise. At the same time, we can prove exponential error decay for it, which we are unable to for projected GD. Finally, it can also be efficiently federated with a communication cost of only $nr$ per node, instead of $nq$ for projected GD.

연구 동기 및 목표

• 각 열의 독립적인 선형 투영으로부터의 저질서 행렬 복구 문제에 대해 아직 탐색되지 않은 문제를 다루기 위해.
• 최소한의 데이터 교환으로 각 노드당 통신 비용이 낮은 피벗된 환경에서 LRcCS에 대해 증명 가능하고 빠르며 통신 효율적인 알고리즘을 개발하기 위해.
• 기존의 볼록 리 릴랙세이션 및 교대 최소화 방법과 비교해 뛰어난 샘플 및 시간 복잡도를 달성하기 위해.
• LR Phase Retrieval, 즉 LRcCS의 크기만 있는 변종을 해결하기 위해 이 방법을 확장하고 이론적 보장을 제공하기 위해.
• 열별로 분리된 업데이트를 갖는 새로운 교대 최소화 방식을 통해 복구 과정에서 지수적 오차 감소를 달성하기 위해.

제안 방법

• 알고리즘은 알려지지 않은 행렬 $\bm{X}^*$를 $\bm{X}^* = \bm{U} \bm{B}$로 인수분해하며, 여기서 $\bm{U}$는 $n \times r$ 정규직교 기저 행렬이고 $\bm{B}$는 $r \times q$ 계수 행렬이다.
• 이 알고리즘은 $\bm{U}$ 업데이트를 위한 투영 경사하강 단계와 $\bm{B}$ 업데이트를 위한 폐쇄형 최소화 단계를 번갈아 수행하며, 이는 열별로 분리되어 빠른 계산을 가능하게 한다.
• 수렴과 부분공간 정렬을 추적하기 위해 하위공간 거리(SD) 측정법 $\mathrm{SD}(\bm{U}_1, \bm{U}_2) = \| (\bm{I} - \bm{U}_1\bm{U}_1^\top)\bm{U}_2 \|_F$를 사용한다.
• 선형 투영을 크기만 있는 측정값 $\bm{y}_{(\text{mag})} = |\bm{A}_k \bm{x}_k^*|$로 대체함으로써, LR Phase Retrieval에 대해 이 방법을 확장하였으며, 여전히 증명 가능한 복구 보장을 유지한다.
• 각 라운드당 노드당 $nr$ 파rameter만 전송함으로써 통신 효율성을 확보하였으며, 이는 $nq$ 전송 대비 상당히 감소된 대역폭을 의미한다. 이는 확장 가능한 피벗된 배포를 가능하게 한다.
• 이론적 분석은 $\bm{X}^*$의 우측 특이벡터에 대한 비일관성 가정과 i.i.d. 가우시안 스케칭 행렬 $\bm{A}_k$에 기반한다.

실험 결과

연구 질문

• RQ1 기존의 볼록 리 릴랙세이션 및 교대 최소화 접근법과 비교해, 기반 경사 방법이 LRcCS에 대해 더 빠른 수렴과 더 낮은 샘플 복잡도를 달성할 수 있는가?
• RQ2 제안된 AltGD-Min 알고리즘이 열별 투영으로부터의 저질서 행렬 복구에서 지수적 오차 감소를 달성할 수 있는가?
• RQ3 AltGD-Min은 각 노드당 $O(nr)$의 통신 비용으로 효율적으로 피벗된 환경에 적용될 수 있는가? 이는 기존 방법 대비 상당한 대역폭 절감을 의미하는가?
• RQ4 기존 연구와 동일한 가정 하에서, 더 나은 시간 및 샘플 복잡도를 갖는다 해도 알고리즘이 여전히 증명 가능한 복구 보장을 유지하는가?
• RQ5 이 방법은 유사한 이론적 보장과 효율성을 갖는 LR Phase Retrieval 문제를 해결하기 위해 확장될 수 있는가?

주요 결과

• AltGD-Min은 $\epsilon$-정확한 $n \times q$ 질서-$r$ 행렬 복구를 $\tilde{O}((n+q)r^2 \log(1/\epsilon))$의 총 샘플 수로 달성하며, 이는 $\epsilon < r^{1/4}$일 경우 최적이다.
• 알고리즘은 $\tilde{O}(m q n r \log(1/\epsilon))$의 시간 내에 실행되며, i.i.d. 가우시안 스케칭 행렬 하에서 LRcCS에 대해 알려진 가장 빠른 방법이다.
• 이 방법은 지수적 오차 감소를 보장하며, 이는 표준 투영 경사하강법에서는 증명할 수 없는 성질이다.
• 피벗된 환경에서 통신 비용은 각 노드당 라운드당 $nr$로 감소하여, $nq$ 전송이 필요한 기존 방법 대비 확장성 면에서 뚜렷한 향상을 이룬다.
• 알고리즘은 LR Phase Retrieval로 확장되었으며, 동일한 가정 하에서 여전히 증명 가능한 복구 보장을 유지한다.
• 이론적 분석은 표준 비일관성 및 가우시안 스케칭 가정 하에서 이 방법이 작동함을 확인하였으며, 하위가우시안 농도와 에psilon-넷 추론 기반으로 고확률 경계를 도출하였다.