[논문 리뷰] Fast and stable randomized low-rank matrix approximation

Yuji Nakatsukasa|arXiv (Cornell University)|2020. 09. 23.

Sparse and Compressive Sensing Techniques참고 문헌 55인용 수 18

한 줄 요약

이 논문은 일반 밀도 행렬 및 희소 행렬에 대해 수치적으로 안정적이고 단일 패assing인 낮은 랭크 행렬 근사 방법인 일반화된 Nyström을 소개한다. $O(mn\log n + r^3)$에 가까운 최적의 복잡도를 달성하며, HMT 및 Tropp에 비해 최대 10배 빠른 성능을 보이며, 특히 큰 $r$에서 정확도를 유사하게 유지한다. 또한 직교화 없이도 효율적인 업데이트 및 다운데이팅을 가능하게 한다.

ABSTRACT

Randomized SVD has become an extremely successful approach for efficiently computing a low-rank approximation of matrices. In particular the paper by Halko, Martinsson, and Tropp (SIREV 2011) contains extensive analysis, and has made it a very popular method. The typical complexity for a rank-$r$ approximation of $m imes n$ matrices is $O(mn\log n+(m+n)r^2)$ for dense matrices. The classical Nystr{ö}m method is much faster, but applicable only to positive semidefinite matrices. This work studies a generalization of Nystr{ö}m method applicable to general matrices, and shows that (i) it has near-optimal approximation quality comparable to competing methods, (ii) the computational cost is the near-optimal $O(mn\log n+r^3)$ for dense matrices, with small hidden constants, and (iii) crucially, it can be implemented in a numerically stable fashion despite the presence of an ill-conditioned pseudoinverse. Numerical experiments illustrate that generalized Nystr{ö}m can significantly outperform state-of-the-art methods, especially when $r\gg 1$, achieving up to a 10-fold speedup. The method is also well suited to updating and downdating the matrix.

연구 동기 및 목표

• 원래 양의 준정부호 행렬에 국한되어 있던 Nyström 방법을 일반 행렬으로 일반화하면서도 그 속도와 정확도의 이점을 유지하고자 한다.
• HMT 및 Tropp와 같은 난수 SVD 방법에서 유래된 $O(mr^2)$ 직교화 비용을 제거하고자 하며, 특히 $r$이 클 경우 유용하다.
• 근사 공식에서 의사역행렬을 사용함에 따라 악조건화에 취약한 점을 감안해도 수치적 안정성을 확보하고자 한다.
• 스트리밍 및 인크리멘탈 학습 응용 분야에서 필수적인 효율적인 행렬 업데이트 및 다운데이팅을 가능하게 하고자 한다.
• HMT 및 Tropp와 유사한 근사 정확도를 달성하면서도 훨씬 낮은 계산 비용을 확보하고자 한다.

제안 방법

• 일반화된 Nyström 근사 공식을 제안한다: $\hat{A}_r = A X (X^T A X)^\dagger X^T$이며, 여기서 $X$는 난수 스케치 행렬로, 고전적 Nyström 방법을 비-PSD 행렬로 일반화한다.
• 행렬 $X \in \mathbb{R}^{n \times r}$를 사용하여 $A X$ 및 $X^T A X$를 계산함으로써 $A X$의 전체 직교화를 피한다.
• 난수 범위 탐색기(randomized range finder)를 활용해 $Q = \text{orth}(A X)$를 계산한 후, 이 $Q$를 사용해 근사 $A Q (Q^T A Q)^\dagger Q^T$를 구성한다. 이는 수학적으로 일반화된 Nyström 공식과 동일하다.
• 구조적 난수 행렬(예: SRHT, SRFT, 부분 추출 DCT)을 활용하여 행렬-벡터 곱셈을 가속화하고 $O(mn\log n)$의 샘플링 비용을 달성한다.
• 반올림 오차가 근사에 미치는 영향이 미미함을 보여주는 안정성 분석을 도입하여, 의사역행렬 사용에도 불구하고 수치적 강건성을 확보한다.
• 기존의 $X$ 및 $A X$ 계산을 재사용함으로써 전체 계산을 다시 시작하지 않고도 효율적인 행렬 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 Nyström 방법의 빠른 속도, 높은 정확도 및 단일 패assing 특성을 비양의 준정부호 행렬이 아닌 일반 행렬으로 일반화할 수 있는가?
• RQ2 일반 행렬에 대해 $O(mn\log n + r^3)$ 복잡도와 최소한의 직교화 비용을 갖는 근사 품질에 근접한 성능을 달성할 수 있는가?
• RQ3 악조건화된 의사역행렬을 사용함에도 불구하고 Nyström 유사 방법이 수치적으로 안정적인가?
• RQ4 일반화된 Nyström 방법의 성능은 랭크 $r$이 증가함에 따라 어떻게 변화하는가? 특히 HMT 및 Tropp와의 비교에서 어떻게 나타나는가?
• RQ5 이 방법은 스트리밍 또는 인크리멘탈 설정에서 효율적인 행렬 업데이트 및 다운데이팅을 지원할 수 있는가?

주요 결과

• 일반화된 Nyström은 큰 $r$에서 HMT 및 Tropp에 비해 최대 10배 빠른 성능을 보이며, $r$이 증가할수록 속도 향상이 더욱 두드러진다.
• 이 방법은 HMT 및 Tropp와 유사한 근사 정확도를 유지하며, 프로베니우스 노름 상 상대 오차는 각 방법 간 거의 동일하다.
• 수치 실험을 통해 반올림 오차가 일반화된 Nyström 근사에 미치는 영향이 미미함을 확인하여 수치적 안정성을 검증한다.
• 기하급수적으로 감소하는 특이값을 가진 $50,000 \times 50,000$ 밀도 행렬의 경우, 특히 고랭크에서 일반화된 Nyström이 HMT 및 Tropp보다 뚜렷한 런타임 성능 향상을 보인다.
• 희소 행렬 실험에서는 여전히 상당한 속도 향상을 달성하지만, 인자에 희소성 조건을 부여하지는 않아서 희소 스케칭과의 통합 가능성이 있음을 시사한다.
• 행렬 업데이트 실험 결과, 일반화된 Nyström은 기존 스케치 및 곱셈 결과를 재사용함으로써 전체 계산을 다시 시작하지 않고도 효율적인 점진적 업데이트를 가능하게 한다.