[논문 리뷰] Relative-Error CUR Matrix Decompositions

Petros Drineas, Michael W. Mahoney외 1명|ArXiv.org|2007. 08. 27.

Matrix Theory and Algorithms참고 문헌 39인용 수 8

한 줄 요약

이 논문은 다항 시간 알고리즘을 제안하며, 행렬 $ A $ 가 실제 $ A $ 에서의 열과 행을 사용하여 $ CUR $ 로 근사되는 상대 오차 CUR 행렬 분해를 위한 최초의 알고리즘을 소개한다. 여기서 $ U $ 는 일반화된 역행렬을 통해 계산된다. 이 방법은 높은 확률로 $ \|A - CUR\|_F \leq (1+\epsilon)\|A - A_k\|_F $ 를 보장하며, $ O(k\log k) $ 개의 열과 행을 사용한다. 이는 최상위 특이벡터에 기반한 새로운 '하위공간 샘플링' 기법을 활용한다.

ABSTRACT

Many data analysis applications deal with large matrices and involve approximating the matrix using a small number of ``components.'' Typically, these components are linear combinations of the rows and columns of the matrix, and are thus difficult to interpret in terms of the original features of the input data. In this paper, we propose and study matrix approximations that are explicitly expressed in terms of a small number of columns and/or rows of the data matrix, and thereby more amenable to interpretation in terms of the original data. Our main algorithmic results are two randomized algorithms which take as input an $m imes n$ matrix $A$ and a rank parameter $k$. In our first algorithm, $C$ is chosen, and we let $A'=CC^+A$, where $C^+$ is the Moore-Penrose generalized inverse of $C$. In our second algorithm $C$, $U$, $R$ are chosen, and we let $A'=CUR$. ($C$ and $R$ are matrices that consist of actual columns and rows, respectively, of $A$, and $U$ is a generalized inverse of their intersection.) For each algorithm, we show that with probability at least $1-δ$: $$ ||A-A'||_F \leq (1+ε) ||A-A_k||_F, $$ where $A_k$ is the ``best'' rank-$k$ approximation provided by truncating the singular value decomposition (SVD) of $A$. The number of columns of $C$ and rows of $R$ is a low-degree polynomial in $k$, $1/ε$, and $\log(1/δ)$. Our two algorithms are the first polynomial time algorithms for such low-rank matrix approximations that come with relative-error guarantees; previously, in some cases, it was not even known whether such matrix decompositions exist. Both of our algorithms are simple, they take time of the order needed to approximately compute the top $k$ singular vectors of $A$, and they use a novel, intuitive sampling method called ``subspace sampling.''

연구 동기 및 목표

• 낮은 질량 행렬 근사에서의 해석 가능성 문제를 해결하기 위해 추상적인 SVD 기저 벡터를 실제 데이터 열과 행으로 대체한다.
• 최고의 낮은 질량 SVD 근사와 비교할 수 있는 상대 오차 근사 보장을 갖는 효율적인 다항 시간 알고리즘을 개발한다.
• 최적의 질량-$ k $ SVD 절단에 비해 상대 오차가 유한한 것으로 보장되는 CUR 분해에 대한 이론적 보장을 제공한다.
• 샘플링 효율성과 근사 정확도를 향상시키는 새로운 샘플링 방법인 '하위공간 샘플링'을 도입한다.
• 이전에 일부 경우에서 알려지지 않았던 상대 오차 CUR 분해의 존재성과 효율적 계산 가능성에 이론적 간극을 메운다.

제안 방법

• 입력 행렬 $ A $ 의 열에 대해 비균일 샘플링 분포를 사용하며, 샘플링 확률은 $ A $ 의 최상위 $ k $ 개의 우측 특이벡터의 행들의 $ \ell^2 $-노름의 제곱에 비례한다.
• 하위공간 샘플링 확률을 사용하여 $ c = O(k\log k) $ 개의 $ A $ 의 열을 선택함으로써 행렬 $ C $ 를 구성하며, 정확하게 또는 기대값에 따라 수행할 수 있다.
• CUR 분해를 위해, 선택된 열과 행의 교차부분의 모하르-펜로즈 역행렬을 $ U $ 로 계산하여 $ A' = CUR $ 가 $ A $ 를 근사하도록 보장한다.
• 열만을 고려한 근사에서 $ C $ 에 일반화된 역행렬을 적용하여 $ A' = C^+ A $ 를 계산함으로써 상대 오차 경계를 확보한다.
• 두 단계 알고리즘을 적용한다: 첫 번째로 하위공간 확률을 사용해 열을 샘플링하고, 두 번째로 $ C^+ A $ 또는 $ CUR $ 를 통해 낮은 질량 근사를 계산한다.
• Johnson-Lindenstrauss 성질과 랜덤라이즈드 SVD 기법을 활용하여 알고리즘이 $ A $ 의 최상위 $ k $ 개 특이벡터를 계산하는 데 비슷한 시간 내에 수행되도록 보장한다.

실험 결과

연구 질문

• RQ1 입력 행렬의 실제 열과 행만을 사용하여 상대 오차 낮은 질량 행렬 근사를 달성할 수 있는가?
• RQ2 이러한 CUR 분해를 위한 상대 오차 보장을 갖는 다항 시간 알고리즘을 설계할 수 있는가?
• RQ3 선택된 열과 행이 프로베니우스 노름 기준으로 근사적으로 최적에 가까운 결과를 얻기 위해 어떤 샘플링 전략이 필요한가?
• RQ4 상대 오차 경계를 유지하면서도 샘플링 복잡도를 $ O(k\log k) $ 로 줄일 수 있는가?
• RQ5 결과 근사가 원래 데이터 특징 측면에서 정확하고 해석 가능하도록 분해를 구성할 수 있는가?

주요 결과

• 제안된 알고리즘은 상대 오차 근사 보장을 달성한다: $ \|A - CUR\|_F \leq (1+\epsilon)\|A - A_k\|_F $ 이며, 확률이 $ 1 - \delta $ 이상일 확률로 성립한다.
• 행렬 $ C $ 의 열 수와 행렬 $ R $ 의 행 수는 $ O(k\log k) $ 이며, 이는 이전의 $ O(k^2 / \epsilon^2) $ 의 경계에 비해 상당한 향상이다.
• 알고리즘이 $ A $ 의 최상위 $ k $ 개 특이벡터를 계산하는 데 비슷한 시간 내에 수행되므로, 큰 행렬에 대해서도 효율적이다.
• 최상위 특이벡터의 행들의 $ \ell^2 $-노름을 사용하는 하위공간 샘플링 방법은 하위공간과 크기 정보를 분리하여 더 날카운 경계를 이끌어낸다.
• 이 방법은 열-행 기반 낮은 질량 행렬 근사에 대해 상대 오차 보장을 갖는 다항 시간 알고리즘을 제공하는 최초의 방법이다.
• 결과는 열 전용($ C^+A $) 및 전체 $ CUR $ 분해 모두로 일반화되며, 모두 고확률 상대 오차 경계를 갖는다.