[논문 리뷰] Low Rank Matrix Approximation in Linear Time

Sariel Har-Peled|arXiv (Cornell University)|2014. 10. 31.

Sparse and Compressive Sensing Techniques참고 문헌 8인용 수 12

한 줄 요약

이 논문은 프로베니우스 노름 하에서 낮은 질량의 행렬 근사에 대해 곱셈적 $(1+\varepsilon)$-근사 보장을 갖는 최초의 선형 시간 알고리즘을 제시한다. 기하적 접근 방식을 사용하며, 랜덤 샘플링과 반복적 개선을 기반으로 한다: 작은 랜덤 샘플이 대부분의 점을 근사하는 평면을 형성하고, 이격점들은 걸러지고 재귀적으로 처리되며, 최종 해는 Frieze 등과 Deshpande 등이 제안한 기법을 사용해 통합되고 최적화된다.

ABSTRACT

$ ewcommand{\MatA}{\mathcal{M}}$ $ ewcommand{\eps}{\varepsilon}$ $ ewcommand{\NSize}{\mathsf{N}{}}$ $ ewcommand{\MatB}{\mathcal{B}}$ $ ewcommand{\Fnorm}[1]{\left\| {#1} ight\|_F}$ $ ewcommand{\PrcOpt}[2]{μ_{\mathrm{opt}}\pth{#1, #2}}$ $ ewcommand{\pth}[1]{\left(#1 ight)}$ Given a matrix $\MatA$ with $n$ rows and $d$ columns, and fixed $k$ and $\eps$, we present an algorithm that in linear time (i.e., $O(\NSize )$) computes a $k$-rank matrix $\MatB$ with approximation error $\Fnorm{\MatA - \MatB}^2 \leq (1+\eps) \PrcOpt{\MatA}{k}$, where $\NSize = n d$ is the input size, and $\PrcOpt{\MatA}{k}$ is the minimum error of a $k$-rank approximation to $\MatA$. This algorithm succeeds with constant probability, and to our knowledge it is the first linear-time algorithm to achieve multiplicative approximation.

연구 동기 및 목표

• 낮은 질량의 행렬 근사에 대해 곱셈적 $(1+\varepsilon)$-근사 보장을 확보하는 데 선형 시간 내에 도달하는 오랜 동안 열려 있던 문제를 해결한다.
• 이전 방법들이 애초에 덧셈 오차 항을 포함하거나 초선형 시간이 소요되는 한계를 극복한다. 특히 대규모 행렬에 대해 유리하다.
• 낮은 질량의 행렬 근사를 $\mathbb{R}^d$ 내 점 집합에서의 거리 제곱합을 최소화하는 $k$-평면을 찾는 것으로 기하학적으로 해석한다.
• 입력 크기 $\mathsf{N}{} = nd$ 에 대해 높은 확률과 일정한 신뢰도 하에서 $O(\mathsf{N}{}k^2\log k)$ 의 실행 시간을 달성한다.
• 입력 크기와 상관없이 I/O 효율적이며, 대규모 또는 희소 행렬에 적합한 방법을 개발한다. 희소 케이스에서는 선형 이하의 성능을 달성한다.

제안 방법

• 행렬 $\mathcal{M}$ 을 $\mathbb{R}^d$ 내 $n$개의 점으로 구성된 점 집합 $P$ 로 변환한다. 각 행은 하나의 점에 대응한다.
• 크기 $O(k^2 \log(k/\delta))$ 의 랜덤 부분집합 $\mathcal{R}$ 을 샘플링하여 初기 $k$-평면 $\mathcal{F}$ 를 형성한다. $\varepsilon$-넷과 VC 차원의 논리에 따라 대부분의 점을 근사한다.
• 이격점 $X$ 는 $\mathcal{F}$ 에서 거리가 $> \sqrt{96k^2 \cdot \mu_{\text{opt}}(P,k)}$ 인 점들로 정의한다.
• 이격점 집합 $X$ 에 대해 재귀적으로 알고리즘을 적용하여 $X$ 를 잘 근사하는 $k$-평면 $\mathcal{G}$ 를 계산한다. 크기가 줄어든 동일한 알고리즘을 사용한다.
• 결합된 $\mathcal{F}$ 와 $\mathcal{G}$ 를 이용해 더 높은 차원의 평면 $\text{span}(\mathcal{F} \cup \mathcal{G})$ 를 형성하고, 이를 바탕으로 기존 알고리즘(보조정리 2.5)을 적용하여 전체 점 집합을 $1+\varepsilon$ 이내로 최적값에 근사하는 $k$-평면 $\mathcal{I}$ 를 추출한다.
• 최종 근사 오차가 프로베니우스 오차 기준 최적값에 대해 $1+\varepsilon$ 이내가 되도록 하기 위해, Frieze 등과 Deshpande 등이 제안한 파wer 메서드와 샘플링 기법을 사용한다.

실험 결과

연구 질문

• RQ1 낮은 질량의 행렬 근사에 대해 곱셈적 $(1+\varepsilon)$-근사 보장을 선형 시간 내에 달성할 수 있는가?
• RQ2 랜덤 샘플링과 반복적 이격점 탐지 기반의 기하적 접근 방식을 사용하여 이러한 근사를 달성할 수 있는가?
• RQ3 선형 시간 복잡도를 확보하기 위해 데이터에 대해 최소 몇 번의 스캔이 필요한가?
• RQ4 기존 샘플링 레미마의 병목 현상을 다른 기하학적 또는 확률적 논리로 극복할 수 있는가?
• RQ5 희소 행렬에 대해 알고리즘이 어떻게 작동하는가? 비제로 원소의 수에 대해 선형 이하 시간 복잡도를 달성할 수 있는가?

주요 결과

• 알고리즘은 확률이 $1-\delta$ 이상일 때 $k$-랭크 행렬 $\mathcal{B}$ 를 계산하여 $\|\mathcal{M} - \mathcal{B}\|_F^2 \leq (1+\varepsilon)\mu_{\text{opt}}(\mathcal{M},k)$ 를 만족한다.
• 실행 시간은 $O\left(\mathsf{N}{}k(\varepsilon^{-1} + k)\log(k/(\varepsilon\delta))\right)$ 이며, $\mathsf{N}{} = nd$ 는 입력 크기이다. 고정된 $k$ 와 $\varepsilon$ 에 대해 $\mathsf{N}{}$ 에 대해 선형이다.
• 만약 $k^2 \log(k/\delta) \geq d$ 라면, 알고리즘이 표준 SVD로 점차적으로 변형되며, 이 영역에서는 더 효율적이다.
• 알고리즘은 I/O 효율적이며, 반복 횟수 $I$ 가 작을 경우 희소 행렬에서 선형 이하 시간 복잡도를 달성한다.
• 핵심 기술적 통찰은 크기 $O(k^2 \log k)$ 의 랜덤 샘플이 대부분의 점을 근사하는 평면을 형성하며, 이격점의 수가 적어 재귀 처리가 가능하다는 점이다.
• 최종 근사 오차는 $\sqrt{(1+\varepsilon)\mu_{\text{opt}}(P,k)}$ 로 제한되며, 이는 $\|\mathcal{M} - \mathcal{B}\|_F \leq (1+\varepsilon)\min_{\text{rank}(\mathcal{C})=k}\|\mathcal{M} - \mathcal{C}\|_F$ 를 의미한다.