[논문 리뷰] Fast approximation of matrix coherence and statistical leverage

Petros Drineas, Malik Magdon‐Ismail외 2명|arXiv (Cornell University)|2011. 09. 18.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 171

한 줄 요약

이 논문은 $ n \times d $ 행렬의 모든 $ n $ 개의 통계적 레버리지 스코어에 대한 상대 오차 근사값을 $ O(nd\log n / \epsilon^2) $ 시간에 계산하는 랜덤화 알고리즘을 제시한다. 이는 표준 SVD 기반 접근 방식의 $ O(nd^2) $ 시간에 비해 상당히 빠르며, Johnson-Lindenstrauss 유형의 랜덤 프로젝션과 선형 스케치를 활용하여 전체 SVD를 계산하지 않고도 레버리지 스코어를 효율적으로 추정한다. 이는 대규모 데이터 분석 및 랜덤화 행렬 알고리즘에서 확장 가능한 계산을 가능하게 한다.

ABSTRACT

The statistical leverage scores of a matrix $A$ are the squared row-norms of the matrix containing its (top) left singular vectors and the coherence is the largest leverage score. These quantities are of interest in recently-popular problems such as matrix completion and Nyström-based low-rank matrix approximation as well as in large-scale statistical data analysis applications more generally; moreover, they are of interest since they define the key structural nonuniformity that must be dealt with in developing fast randomized matrix algorithms. Our main result is a randomized algorithm that takes as input an arbitrary $n imes d$ matrix $A$, with $n \gg d$, and that returns as output relative-error approximations to all $n$ of the statistical leverage scores. The proposed algorithm runs (under assumptions on the precise values of $n$ and $d$) in $O(n d \log n)$ time, as opposed to the $O(nd^2)$ time required by the naïve algorithm that involves computing an orthogonal basis for the range of $A$. Our analysis may be viewed in terms of computing a relative-error approximation to an underconstrained least-squares approximation problem, or, relatedly, it may be viewed as an application of Johnson-Lindenstrauss type ideas. Several practically-important extensions of our basic result are also described, including the approximation of so-called cross-leverage scores, the extension of these ideas to matrices with $n \approx d$, and the extension to streaming environments.

연구 동기 및 목표

• 대규모 행렬에서 통계적 레버리지 스코어를 빠르고 확장 가능하게 근사화하는 알고리즘 개발
• 레버리지 스코어 계산의 계산 비용을 $ O(nd^2) $ 에서 $ O(nd\log n / \epsilon^2) $ 로 감소시켜 대규모 데이터 분석에서의 실용적 사용을 가능하게 함
• 스트리밍 및 분산 환경으로 알고리즘 확장하여 실시간 또는 공간 효율적인 계산 지원
• 랜덤화 행렬 알고리즘에서 핵심적인 구조적 성질인 일관성과 크로스-레버리지 스코어에 대한 상대 오차 근사 제공
• 행렬 스케칭 및 회귀 분석과 같은 응용 분야에서 레버리지 스코어 비례로 행렬의 행을 효율적으로 샘플링할 수 있도록 지원

제안 방법

• 알고리즘은 랜덤 프로젝션 행렬 $ \Pi $ 와 선형 스케칭 행렬 $ T $ 를 사용하여 입력 행렬 $ A $ 를 압축하며, 레버리지 스코어와 관련된 행의 노름을 유지한다.
• 데이터를 한 번만 스캔하면서 $ TA $ 와 $ \Pi A $ 를 계산한 후, $ R^{-1} $ 를 사용한 변환을 적용하여 근사 레버리지 스코어를 복구한다.
• 레버리지 스코어 추정에 Johnson-Lindenstrauss 유형의 임bedding을 활용하여, 왼쪽 특이벡터 행렬 $ U $ 의 행들의 $ \ell_2 $-노름을 $ (1\pm\epsilon) $ 요인 내에서 유지한다.
• 레버리지 스코어는 $ \ell_2 $-샘플링 기법을 통해 추정되며, 행 샘플링 확률이 $ \|U_{(i)}\|_2^2 $ 에 비례하여 고레버리지 행을 효율적으로 식별할 수 있다.
• 스트리밍 응용을 위해, $ F_p $-노름 추정과 레버리지 스코어 분포의 엔트로피 근사에 적합한 스케칭 행렬을 사용한다.
• 알고리즘은 일관성(최대 레버리지 스코어), 크로스-레버리지 스코어, 레버리지 스코어 분포의 엔트로피를 소량의 메모리와 한 번의 스캔으로 추정할 수 있도록 확장 가능하다.

실험 결과

연구 질문

• RQ1 상대 오차 보장을 유지하면서 $ o(nd^2) $ 시간 내에 통계적 레버리지 스코어를 근사화할 수 있는가?
• RQ2 전체 SVD를 계산하지 않고도 Johnson-Lindenstrauss 유형의 랜덤 프로젝션을 어떻게 활용하여 레버리지 스코어를 추정할 수 있는가?
• RQ3 스트리밍 환경에서 레버리지 스코어를 근사화하기 위해 필요한 최소한의 메모리 및 스캔 복잡도는 무엇인가?
• RQ4 알고리즘이 일관성, 크로스-레버리지 스코어, 레버리지 스코어 분포의 엔트로피를 추정하도록 확장될 수 있는가?
• RQ5 선형 스케치를 사용하여 레버리지 스코어 비례로 효율적인 행 샘플링을 어떻게 달성할 수 있는가?

주요 결과

• 제안된 알고리즘은 $ O(nd\log n / \epsilon^2) $ 시간에 모든 $ n $ 개의 레버리지 스코어에 대한 상대 오차 근사값을 계산하며, 표준 SVD 기반 방법의 $ O(nd^2) $ 시간에 비해 상당히 향상되었다.
• 이 알고리즘은 같은 시간 복잡도 내에서 행렬의 일관성에 대한 상대 오차 근사값을 달성한다. 일관성은 최대 레버리지 스코어이기 때문이다.
• 스케칭을 사용한 단일 스캔, 스트리밍 계산이 가능하며, $ s $ 개의 레버리지 스코어 비례 행 샘플을 위해 $ O(sd\epsilon^{-2}\log^4 n) $ 비트의 메모리가 필요하다.
• 레버리지 스코어 분포의 엔트로피는 $ O(d\epsilon^{-4}\log^6 n\log^{14}(1/\epsilon)) $ 비트의 메모리로 애드디티브 $ \epsilon $ 이내로 근사 가능하다.
• 스케치에 $ O(d\tau^{-1}\epsilon^{-2}\log^3 n\log \tau^{-1}) $ 개의 행을 사용하여 고레버리지 행(즉, $ \|U_{(i)}\|_2^2 \geq \tau\|U\|_F^2 $ 를 만족하는 행)을 효율적으로 식별할 수 있다.
• 이 방법은 질량이 낮은 랭크 행렬에 대해 강건하며, $ n \approx d $ 인 경우에도 자연스럽게 확장 가능하지만, 수치적 안정성에 대한 고려 사항은 향후 연구에 남겨져 있다.