[논문 리뷰] Sample-Optimal Low-Rank Approximation of Distance Matrices

Piotr Indyk, Ali Vakilian외 2명|arXiv (Cornell University)|2019. 06. 02.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 11

한 줄 요약

이 논문은 거리 행렬의 저질서 근사에 대해 샘플 최적의 알고리즘을 제안한다. 이 알고리즘은 총 $O((n+m)k/\/epsilon)$개의 요소만 읽으며, $ ilde{O}(n+m) cdotackslash ext{poly}(k,1/ackslash ext{epsilon})$의 시간 복잡도로 실행된다. 이는 프로베니우스 노름에서 최적의 질서-$k$ 근사에 대해 $ackslash ext{epsilon}$-덧셈 근사치를 달성하며, 샘플 복잡도에 대해 기존의 하한선과 정확히 일치시켜, 이전 작업보다 더 단순하고 더 효율적이다.

ABSTRACT

A distance matrix $A \in \mathbb R^{n imes m}$ represents all pairwise distances, $A_{ij}=\mathrm{d}(x_i,y_j)$, between two point sets $x_1,...,x_n$ and $y_1,...,y_m$ in an arbitrary metric space $(\mathcal Z, \mathrm{d})$. Such matrices arise in various computational contexts such as learning image manifolds, handwriting recognition, and multi-dimensional unfolding. In this work we study algorithms for low-rank approximation of distance matrices. Recent work by Bakshi and Woodruff (NeurIPS 2018) showed it is possible to compute a rank-$k$ approximation of a distance matrix in time $O((n+m)^{1+γ}) \cdot \mathrm{poly}(k,1/ε)$, where $ε>0$ is an error parameter and $γ>0$ is an arbitrarily small constant. Notably, their bound is sublinear in the matrix size, which is unachievable for general matrices. We present an algorithm that is both simpler and more efficient. It reads only $O((n+m) k/ε)$ entries of the input matrix, and has a running time of $O(n+m) \cdot \mathrm{poly}(k,1/ε)$. We complement the sample complexity of our algorithm with a matching lower bound on the number of entries that must be read by any algorithm. We provide experimental results to validate the approximation quality and running time of our algorithm.

연구 동기 및 목표

• 기계 학습 및 데이터 분석에서 흔한 거리 행렬의 저질서 근사를 위한 더 빠르고 단순한 알고리즘을 설계하는 것.
• 행렬 차원 $n$과 $m$에 대해 하중선 샘플 복잡도를 확보하는 것. 일반 행렬에는 불가능한 성질이다.
• 읽어야 할 요소 수에 대한 이론적 하한선을 충족시켜 샘플 최적성을 입증하는 것.
• 이론적 보장과 근사 품질 및 런타임에 대한 경험적 검증을 동시에 제공하는 것.

제안 방법

• 알고리즘은 거리 행렬의 거리 공간의 구조를 활용하여 $O((n+m)k/\epsilon)$개의 요소를 무작위 샘플링 전략을 통해 선택한다.
• 프리즈-칸난-벤팔라 프레임워크의 변종을 적용하여 $ ilde{O}(n+m) cdotackslash ext{poly}(k,1/\epsilon)$의 런타임으로 저질서 근사를 계산한다.
• 이 방법은 프로베니우스 노름 오차가 $\|A - VU\|_F^2 \leq \|A - A_k\|_F^2 + \epsilon\|A\|_F^2$를 고려 확률적으로 만족시킨다.
• 정규 직교 행렬 투영과 특이값 분해 기법을 사용하여 샘플링 하에 근사 품질을 유지한다.
• 알고리즘은 적응적이고 무작위적이며, 근사 오차와 샘플 복잡도에 대해 이론적 보장을 갖는다.
• 이론적 분석은 특이값을 경계하고, 행렬 부분공간을 연결하기 위해 추적 부등식을 사용한다.

실험 결과

연구 질문

• RQ1 거리 행렬의 저질서 근사는 $n+m$에 대해 하중선 샘플 복잡도를 갖는 동시에 $k$와 $\epsilon$에 대해 최적일 수 있는가?
• RQ2 기존 작업보다 더 단순하고 효율적인 알고리즘을 거리 행렬의 저질서 근사에 대해 설계할 수 있는가?
• RQ3 $ackslash\text{epsilon}$-근사 저질서 해를 달성하기 위해 읽어야 할 요소 수에 대한 정보 이론적 하한선은 무엇인가?
• RQ4 샘플 복잡도가 일치하는 하한선을 통해 알고리즘의 샘플 최적성을 증명할 수 있는가?
• RQ5 SVD 기반 방법에 비해 런타임을 크게 줄이면서도 높은 근사 품질을 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 입력 거리 행렬의 요소 중 $O((n+m)k/\epsilon)$개만 읽으며, 샘플 최적성을 달성한다.
• 런타임은 $\tilde{O}(n+m)\cdot\mathrm{poly}(k,1/\epsilon)$로, 이전 작업보다 크게 향상되었다.
• 알고리즘은 프로베니우스 노름에서 최적의 질서-$k$ 근사에 대해 $\epsilon$-덧셈 근사치를 0.99의 확률로 달성한다.
• 임의 알고리즘에 대해 $\Omega((n+m)k/\epsilon)$개의 요소가 반드시 읽혀야 한다는 일치하는 하한선이 증명되었으며, 샘플 최적성을 입증한다.
• 경험적 결과는 알고리즘의 높은 근사 품질과 기존 방법들에 비해 빠른 런타임을 확인한다.
• 이론적 분석은 특이값에 대한 날카운 경계와 행렬 부분공간 정렬에 대한 엄밀한 경계를 포함하여 샘플링 하에 강력한 근사를 보장한다.