[논문 리뷰] Sublinear Time Low-Rank Approximation of Distance Matrices

Ainesh Bakshi, David P. Woodruff|arXiv (Cornell University)|2018. 09. 19.

Blind Source Separation Techniques참고 문헌 17인용 수 10

한 줄 요약

이 논문은 임의의 거리 공간에서 거리 행렬의 저랭크 근사에 대해 삼각 부등식과 유클리드 거리 행렬의 성질을 활용하여, 부분선형 시간 알고리즘을 제시한다. 이 알고리즘은 부분선형 시간 내에 덧셈 오차 보장을 달성하고, 제곱 유클리드 거리에 대해 상대 오차 이중기준 솔루션을 제공한다. 이는 부분선형 양의 준정부호(PSD) 행렬 근사와 재귀적 샘플링을 활용하여 달성된다.

ABSTRACT

Let $\mathbf{P}=\{ p_1, p_2, \ldots p_n \}$ and $\mathbf{Q} = \{ q_1, q_2 \ldots q_m \}$ be two point sets in an arbitrary metric space. Let $\mathbf{A}$ represent the $m imes n$ pairwise distance matrix with $\mathbf{A}_{i,j} = d(p_i, q_j)$. Such distance matrices are commonly computed in software packages and have applications to learning image manifolds, handwriting recognition, and multi-dimensional unfolding, among other things. In an attempt to reduce their description size, we study low rank approximation of such matrices. Our main result is to show that for any underlying distance metric $d$, it is possible to achieve an additive error low-rank approximation in sublinear time. We note that it is provably impossible to achieve such a guarantee in sublinear time for arbitrary matrices $\mathbf{A}$, and consequently our proof exploits special properties of distance matrices. We develop a recursive algorithm based on additive projection-cost preserving sampling. We then show that in general, relative error approximation in sublinear time is impossible for distance matrices, even if one allows for bicriteria solutions. Additionally, we show that if $\mathbf{P} = \mathbf{Q}$ and $d$ is the squared Euclidean distance, which is not a metric but rather the square of a metric, then a relative error bicriteria solution can be found in sublinear time.

연구 동기 및 목표

• 임의의 거리 공간에서 쌍방향 거리로 구성된 거리 행렬에 대한 부분선형 시간 알고리즘 개발.
• 일반적인 거리 행렬에 대해 상대 오차 근사가 부분선형 시간 내에서 가능할지 여부 규명.
• 특히 제곱 유클리드 거리에 대해 상대 오차 이중기준 솔루션이 부분선형 시간 내에서 계산 가능한 조건 탐색.
• 거리 행렬의 구조적 성질—예를 들어 삼각 부등식과 PSD 성분으로의 분해—을 활용하여 일반 행렬에 대한 $ tilde{ tilde{O}}(mn)$ 하한선을 우회하는 것.

제안 방법

• 알고리즘은 오차 한계를 유지하기 위해 추가 투영비용 보존 샘플링을 사용하여 거리 행렬의 행과 열을 재귀적으로 샘플링한다.
• 제곱 유클리드 거리에 대해 행렬은 $\mathbf{A}_1$, $\mathbf{A}_2$, 및 $\mathbf{B}$의 세 구성요소로 분해되며, $\mathbf{B}$는 양의 준정부호(PSD) 행렬이다.
• 이 방법은 Musco-Woodruff 알고리즘을 사용하여 $\mathbf{B}$의 부분선형 저랭크 근사를 시뮬레이션하며, 이 알고리즘은 $O(n \cdot \mathrm{poly}(k/\epsilon))$ 시간 내에 실행된다.
• 알고리즘은 샘플된 열을 위한 정규직교 기저 $\mathbf{V}$를 계산하고, 추가로 두 개의 벡터 $\mathbf{a}_1, \mathbf{a}_2$를 추가하여 랭크-$(k+4)$ 투영 행렬 $\mathbf{W}\mathbf{W}^T$를 구성한다.
• 잔차의 오차는 Frobenius 노름을 사용하여 $\mathbf{B}$의 근사 오차와 관련지어 제한하며, 항등식 $\|\mathbf{A} - \mathbf{A}\mathbf{W}\mathbf{W}^T\|_F \leq 2\|\mathbf{B}(\mathbb{I} - \mathbf{W}\mathbf{W}^T)\|_F$ 를 활용한다.
• 이 방법은 결과로 얻어지는 랭크-$(k+4)$ 근사가 상대 오차 보장을 만족함을 보장한다: $\|\mathbf{A} - \mathbf{A}\mathbf{W}\mathbf{W}^T\|_F \leq (1+\epsilon)\|\mathbf{A} - \mathbf{A}_k\|_F$.

실험 결과

연구 질문

• RQ1 거리 행렬의 덧셈 오차 저랭크 근사는 부분선형 시간 내에서 계산 가능한가?
• RQ2 일반적인 거리 행렬에 대해 상대 오차 저랭크 근사는 부분선형 시간 내에서 가능할 수 있는가?
• RQ3 거리 행렬에 대해 상대 오차 이중기준 솔루션이 부분선형 시간 내에서 계산 가능한 조건은 무엇인가?
• RQ4 거리 행렬의 구조적 성질—예를 들어 삼각 부등식과 PSD 성분으로의 분해—은 어떻게 부분선형 근사를 가능하게 하는가?

주요 결과

• 논문은 임의의 거리 공간에서 어떤 거리 행렬의 덧셈 오차 저랭크 근사도 부분선형 시간 내에 계산 가능함을 입증하며, 특히 $O(n \cdot \mathrm{poly}(k/\epsilon))$ 시간 내에 수행 가능하다.
• 일반적인 거리 행렬에 대해 부분선형 시간 내에 상대 오차 근사를 달성하는 것은 증명 가능하게 불가능하며, 이중기준 완화 조건이 있더라도 마찬가지다.
• 거리가 제곱 유클리드 거리이고 $\mathcal{P} = \mathcal{Q}$일 경우, 행렬을 $\mathbf{A}_1 + \mathbf{A}_2 - 2\mathbf{B}$로 분해함으로써 상대 오차 이중기준 솔루션을 부분선형 시간 내에 계산할 수 있다. 여기서 $\mathbf{B}$는 PSD이다.
• 알고리즘은 랭크-$(k+4)$ 근사로 $\|\mathbf{A} - \mathbf{A}\mathbf{W}\mathbf{W}^T\|_F \leq (1+\epsilon)\|\mathbf{A} - \mathbf{A}_k\|_F$ 를 만족하며, 높은 확률로 성립한다.
• 이 방법은 거리 행렬에 대한 랜덤 액세스 외에 $n-1$개의 추가 항목만을 사용하여 $\mathbf{B}$의 부분선형 PSD 저랭크 근사를 시뮬레이션한다.