[논문 리뷰] Sampling from large matrices: an approach through geometric functional analysis

Mark Rudelson, Roman Vershynin|arXiv (Cornell University)|2005. 03. 21.

Sparse and Compressive Sensing TechniquesEngineering인용 수 21

한 줄 요약

이 논문은 랜덤 부분행렬을 사용하여 큰 행렬을 근사하는 샘플링 기반 방법을 제안하며, 수치적 랭크 $ r $ 에 대해 최적의 샘플링 복잡도 $ O(r\log r) $ 를 달성한다. 이는 이 크기의 랜덤 부분행렬이 높은 확률로 스펙트럴 노름에서 원래 행렬을 근사할 수 있음을 증명하며, 근사 시간과 공간 복잡도가 거의 선형이 되는 효율적인 저랭크 근사 및 SVD 계산을 가능하게 한다.

ABSTRACT

We study random submatrices of a large matrix A. We show how to approximately compute A from its random submatrix of the smallest possible size O(r log r) with a small error in the spectral norm, where r = ||A||_F^2 / ||A||_2^2 is the numerical rank of A. The numerical rank is always bounded by, and is a stable relaxation of, the rank of A. This yields an asymptotically optimal guarantee in an algorithm for computing low-rank approximations of A. We also prove asymptotically optimal estimates on the spectral norm and the cut-norm of random submatrices of A. The result for the cut-norm yields a slight improvement on the best known sample complexity for an approximation algorithm for MAX-2CSP problems. We use methods of Probability in Banach spaces, in particular the law of large numbers for operator-valued random variables.

연구 동기 및 목표

• 작은 랜덤 부분행렬만을 사용하여 큰 행렬을 근사하는 방법을 개발하여 샘플링 복잡도를 최소화한다.
• 랜덤 부분행렬의 스펙트럴 노름과 컷 노름에 대한 渐近적으로 최적의 경계를 설정한다.
• 외부 저장소에 저장된 행렬에 대해 한 번 또는 두 번의 패assing 알고리즘을 통해 저랭크 근사 및 SVD를 수행할 수 있도록 하며, 최소한의 메모리와 시간 사용을 보장한다.
• 컷-노름 추정을 통해 MAX-2CSP 근사 알고리즘의 샘플링 복잡도를 향상시킨다.
• 기하학적 함수해석학 및 바나흐 공간에서의 확률 이론 도구를 사용하여 이론적 보장을 제공한다.

제안 방법

• 행렬 $ A $ 로부터 행을 $ d = O\left(\frac{r}{\varepsilon^4\delta}\log\frac{r}{\varepsilon^4\delta}\right) $ 개, 행의 $ \ell^2 $-노름의 제곱 비율에 비례하는 확률로 복원 추출한다.
• 샘플된 부분행렬 $ \tilde{A} $ 의 특이값 분해(SVD)를 사용하여 상위 $ k $ 개의 왼쪽 특이벡터로의 투영 $ P_k $ 를 계산한다.
• 원래 행렬 $ A $ 를 $ AP_k $ 로 근사함으로써 스펙트럴 노름에서 저랭크 근사를 도출한다.
• 연산자 값 확률변수에 대한 대수법칙을 적용하여 근사 오차의 스펙트럴 노름을 제어한다.
• 집중 부등식과 대칭화 기법(예: 라데마처 및 가우시안 과정)을 사용하여 랜덤 부분행렬의 기대 연산자 노름을 경계한다.
• 기하학적 함수해석학 도구를 활용하여 특이값의 $ \ell^2 $-노름과 $ \ell^1 $-노름을 사용하여 수치적 랭크 $ r = \|A\|_F^2 / \|A\|_2^2 $ 에 대한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 큰 행렬 $ A $ 를 랜덤 부분행렬을 사용하여 스펙트럴 노름에서 근사하기 위해 필요한 최소 샘플 크기는 무엇인가?
• RQ2 랜덤 부분행렬 기반 저랭크 근사의 스펙트럴 노름 오차는 높은 확률로 경계될 수 있는가?
• RQ3 수치적 랭크 $ r = \|A\|_F^2 / \|A\|_2^2 $ 는 행렬 근사에 대한 최적 샘플링 복잡도와 어떻게 관련이 있는가?
• RQ4 랜덤 부분행렬의 스펙트럴 노름과 컷 노름에 대한 渐近적으로 최적의 경계는 무엇인가?
• RQ5 컷-노름 추정은 MAX-2CSP 근사 알고리즘의 샘플링 복잡도를 향상시킬 수 있는가?

주요 결과

• 논문은 $ O(r\log r) $ 의 샘플링이 높은 확률로 스펙트럴 노름에서 $ A $ 를 근사하는 데 충분하다고 규명한다. 여기서 $ r $ 은 수치적 랭크이다.
• 근사 오차는 높은 확률로 $ \|A - AP_k\|_2 \leq \sigma_{k+1}(A) + \varepsilon\|A\|_2 $ 를 만족하며, 여기서 $ \varepsilon $ 는 덧셈 오차를 제어한다.
• 이 방법은 $ O(n + m) $ 의 메모리와 시간 복잡도를 가지며, $ r $ 과 $ k $ 에 대해 다항식의 복잡도를 갖는 한 번 또는 두 번의 패assing 알고리즘을 통해 저랭크 근사 및 SVD를 가능하게 한다.
• 대칭화와 집중을 통해 랜덤 부분행렬의 스펙트럴 노름이 경계되며, 적절한 샘플링 하에 $ \mathbb{E}\|\tilde{A}\|_2 \leq C\|A\|_2\sqrt{\log r} $ 를 도출한다.
• 유사한 기법을 사용하여 랜덤 부분행렬의 컷-노름을 경계함으로써 MAX-2CSP 근사에 대한 샘플링 복잡도에 약간의 향상이 이루어진다.
• 분석 결과, 오차 연산자 기대 스펙트럴 노름이 $ \sqrt{\log q} \cdot \|A\|_{(n/q)} + \sqrt{q/n} $ 에 의해 제어됨을 보여주며, 여기서 $ q $ 는 샘플된 행의 수이다.