[논문 리뷰] CUR Low Rank Approximation at Deterministic Sublinear Cost

Qi Luan, Victor Y. Pan외 1명|arXiv (Cornell University)|2019. 07. 21.

Matrix Theory and Algorithms참고 문헌 8인용 수 4

한 줄 요약

이 논문은 대칭 양정부유행렬(SPSD)에 대한 CUR 저질서 근사(LRA)에 대해 결정론적 하위선형 비용 알고리즘을 제시하며, 최적의 경계에 대해 상대 오차가 $(1+\epsilon)n$ 요인 이내로 달성된다. 이 방법은 단일 루프의 크로스근사(C-A) 반복을 통해 최대 체적 부분행렬을 활용하여, 이 클래스의 행렬에서 하위선형 LRA의 경험적 효율성에 대한 첫 번째 공식적 지원을 제공한다.

ABSTRACT

A matrix algorithm runs at {\em sublinear cost} if it uses much fewer memory cells and arithmetic operations than the input matrix has entries. Such algorithms are indispensable for Big Data Mining and Analysis. Quite typically in that area the input matrices are so immense that realistically one can only access a small fraction of all their entries but can access and process at sublinear cost their Low Rank Approximation {\em (LRA)}. Can, however, we compute LRA at sublinear cost? Adversary argument shows that the output of any algorithm running at sublinear cost is extremely far from LRA of the worst case input matrices and even of the matrices of small families of our Appendix, but we prove that some deterministic sublinear cost algorithms output reasonably close LRA in a memory efficient form of CUR LRA if an input matrix admits LRA and is Symmetric Positive Semidefinite or is very close to a low rank matrix. The latter result is technically simple but provides some (very limited but long overdue) support for the well-known empirical efficiency of sublinear cost LRA by means of Cross-Approximation. We demonstrate the power of application of such LRA by turning the Fast Multipole celebrated Method into Superfast Multipole Method. The design and analysis of our algorithms rely on extensive prior study of the link of LRA of a matrix to maximization of its volume.

연구 동기 및 목표

• 빅데이터 응용 분야에서 하위선형 비용 LRA 알고리즘의 경험적 성공에 대한 이론적 근거가 부족한 오랜 간극을 메우기 위해.
• 입력 행렬이 대칭 양정부유행렬(SPSD)이거나 저질서에 가까운 경우에 CUR 저질서 근사에 대한 공식적 보장을 제공하기 위해.
• 일반 행렬에 대해 이러한 보장을 배제하는 적대자 논증에도 불구하고, 결정론적 하위선형 비용 알고리즘이 SPSD 행렬에 대해 합리적으로 정확한 LRA를 생성할 수 있음을 보여주기 위해.
• 최대 체적 부분행렬과 효과적인 CUR LRA 사이의 이론적 연결 고리를 확립하여, 크로스근사에 대한 실용적 사용을 뒷받침하기 위해.
• 효율적인 LRA를 통해 빠른 다체법(Fast Multipole Method)을 초빠른 다체법(Superfast Multipole Method)으로 전환할 수 있도록 하여 실제 응용에 미치는 영향을 보여주기 위해.

제안 방법

• 단일 C-A 반복 루프를 사용하여 최대 체적을 가진 $p \times r$ 또는 $r \times q$ 부분행렬을 계산함으로써, 질서-$r$ 행렬에 대해 근사적으로 최적의 CUR LRA를 확보한다.
• 최대 체적 부분행렬과 CUR LRA 사이의 연결 고리를 활용하며, 부분행렬의 체적이 근사 품질을 결정함을 이용한다.
• 전체 행렬의 $mn$ 요소보다 훨씬 적은 $O((m+n)r)$ 요소만 액세스하여, 하위선형 비용으로 실행되는 결정론적 알고리즘을 설계한다.
• 이론적 프레임워크를 적용하여 빠른 다체법을 초빠른 다체법으로 전환함으로써 계산 복잡도를 감소시킨다.
• SPSD 행렬이 LRA를 허용하는 한, 출력 CUR LRA의 상대 오차가 최적 경계에 대해 $(1+\epsilon)n$ 요인 이내임을 증명한다. 이는 $n/r \in O(1/\epsilon)$ 라는 조건을 만족할 경우에 한하여 성립한다.
• 무작위 샘플링이나 반복 정밀도 향상에 의존하지 않고, 체적 최대화를 저질서 근사 품질의 대체 지표로 사용한다.

실험 결과

연구 질문

• RQ1 결정론적 하위선형 비용 알고리즘이 대칭 양정부유행렬에 대해 합리적으로 정확한 CUR 저질서 근사를 달성할 수 있는가?
• RQ2 하위선형 비용에서 LRA를 계산하는 데 있어 크로스근사(C-A)의 경험적 성공에 대한 이론적 근거는 무엇인가?
• RQ3 하위선형 알고리즘의 맥락에서 부분행렬의 최대 체적과 결과 CUR LRA의 품질 사이의 관계는 어떠한가?
• RQ4 일반 행렬에 대해 이러한 보장을 배제하는 적대자 논증에도 불구하고, 어떤 행렬 클래스에 대해 하위선형 비용 LRA를 공식적으로 보장할 수 있는가?
• RQ5 하위선형 비용 LRA를 사용하여 빠른 다체법을 얼마나 빠르게 가속화할 수 있으며, 이는 수치 해법에 어떤 영향을 미치는가?

주요 결과

• 제안된 결정론적 하위선형 비용 알고리즘은 LRA를 허용하는 임의의 $n \times n$ 대칭 양정부유행렬에 대해, 최적 경계에 대해 상대 오차가 $(1+\epsilon)n$ 요인 이내로 달성된다.
• 이 경계는 $n/r \in O(1/\epsilon)$ 조건을 만족할 경우 성립하며, 이는 주어진 허용 오차 $\epsilon$ 에 대해 근사 품질을 제어 가능하게 한다.
• 단일 C-A 반복 루프를 통해 유한한 요인 내에서 최대 체적 부분행렬을 계산할 수 있으며, 이는 저질서에 가까운 행렬에 대해 수용 가능한 오차를 가진 CUR LRA를 가능하게 한다.
• 이 결과는 하위선형 비용 LRA의 경험적 효율성에 대한 오랜 관찰에 대한 첫 번째 공식적 이론적 지원을 제공한다.
• 이 방법은 빠른 다체법을 초빠른 다체법으로 전환할 수 있게 하여, 수치선형대수 분야에서 실질적 영향을 미친다.
• 무작위 샘플링을 피하고 체적 최대화에 기반하여, 기존의 무작위 하위선형 LRA 알고리즘에 비해 결정론적이고 메모리 효율적인 대안을 제공한다.