[논문 리뷰] Superfast CUR Matrix Algorithms, Their Pre-Processing and Extensions

Victor Y. Pan, Qi Luan외 2명|arXiv (Cornell University)|2017. 10. 22.

Electromagnetic Scattering and Analysis참고 문헌 78인용 수 5

한 줄 요약

이 논문은 교차근사(C-A)와 희소 구조적 랜덤 사전처리를 조합하여, 선형 이하의 시간과 메모리로 정확한 저질서 근사(LRA)를 달성하는 초고속 CUR 행렬 알고리즘을 소개한다. 이 방법들은 높은 확률(whp)로 무작위, 희소, 평균 행렬에 대해 정확한 CUR 근사를 생성함으로써, 예를 들어 빠른 다체법(Fast Multipole Method)에서 제곱 시간에서 거의 선형 시간으로의 속도 향상을 가능하게 하며 정확도를 손상시키지 않는다.

ABSTRACT

We study superfast algorithms that computes low rank approximation of a matrix (hereafter referred to as LRA) that use much fewer memory cells and arithmetic operations than the input matrix has entries. We first specify a family of 2mn matrices of size m*n such that for almost 50% of them any superfast LRA algorithm fails to improve the poor trivial approximation by the matrix filled with zeros, but then we prove that the class of all such hard inputs is narrow - the cross-approximation (hereafter {C-A}) superfast iterations as well as some more primitive superfast algorithms compute reasonably accurate LRAs in their transparent CUR form (i) to any matrix allowing close LRA except for small norm perturbations of matrices of an algebraic variety of a smaller dimension, (ii) to the average matrix allowing close LRA, (iii) to the average sparse matrix allowing close LRA and (iv) with a high probability to any matrix allowing close LRA if it is pre-processed fast with a random Gaussian, SRHT or SRFT multiplier. Moreover empirically the output LRAs remain accurate when we perform the computations superfast by replacing such a multiplier with one of our sparse and structured multipliers. Our techniques, auxiliary results and extensions may be of some independent interest. We analyze C-A and other superfast algorithms twice -- based on two well-known sufficient criteria for obtaining accurate LRAs. We provide a distinct proof in the case of superfast variant of randomized algorithms of [DMM08], improve a decade-old estimate for the norm of the inverse of a Gaussian matrix, prove such an estimate also in the case of a sparse Gaussian matrix, present some novel advanced pre-processing techniques for fast and superfast computation of LRA, and extend our results to dramatic acceleration of the Fast Multipole Method (FMM) and the Conjugate Gradient algorithms.

연구 동기 및 목표

• 특수한 또는 희소 행렬에 대해 초고속 저질서 근사(LRA) 알고리즘의 최악의 경우 이론적 보장이 부족한 문제를 해결한다.
• 일부 질서-일치 행렬에서 표준 초고속 알고리즘이 실패하는 한계를 극복하기 위해 랜덤화된 사전처리를 도입하여 안정성과 정확도를 향상시킨다.
• 무작위 및 평균 행렬에 대해 교차근사(C-A) 및 관련 초고속 알고리즘이 높은 확률(whp)로 정확한 CUR 근사를 생성함을 입증한다.
• C-A에 앞서 희소 구조적 랜덤 승수를 적용하여 일반 행렬에 대해 초고속 LRA를 계산할 수 있도록 하며, 정확도를 유지하면서도 선형 이하 복잡도를 유지한다.
• 빠른 다체법(Fast Multipole Method)과 같은 과학 계산의 계산 비용이 높은 단계를 줄여 시간 복잡도를 제곱에서 거의 선형으로 감소시켜 가속화한다.

제안 방법

• 입력 행렬에 대해 희소 구조적 랜덤 사전처리 행렬(Gaussian, SRHT, SRFT 등)을 적용하여, 근사의 안정성과 정확도를 향상시킨다.
• 초고속이며 희소성과 구조를 유지하는 교차근사(C-A) 알고리즘을 사용하여 사전처리된 행렬에서 CUR 근사를 계산한다.
• 랜덤 행렬 이론을 활용하여, 가우시안 또는 구조적 랜덤 행렬로 사전처리하면 높은 확률(whp)로 정확한 CUR 근사를 얻을 수 있음을 증명한다.
• 밀도 있는 사전처리 승수를 희소 구조적 것으로 대체하여 초고속 복잡도를 유지하면서도 정확도를 유지함을 확인하였으며, 실세계 데이터에 대한 광범위한 테스트를 통해 검증하였다.
• 수치선형대수학과 컴퓨터 과학의 통찰을 융합하여 C-A를 정교화하고, 특히 저질서 근사 및 행렬의 구조 유지와 관련된 효율성을 향상시켰다.
• 하위공간 샘플링 및 최대 체적 기법을 사용하여 CUR 분해에서 정보가 풍부한 열과 행을 선택함으로써 고품질의 저질서 근사를 보장한다.

실험 결과

연구 질문

• RQ1 최악의 입력에서 실패할 수는 있지만, 무작위 및 평균 행렬에 대해 초고속 CUR 알고리즘이 정확한 저질서 근사를 달성할 수 있는가?
• RQ2 구조적 랜덤 행렬(SRHT, SRFT 등)로 사전처리하면, CUR 근사의 정확도를 유지하면서도 선형 이하의 시간 복잡도를 확보할 수 있는가?
• RQ3 밀도 있는 승수를 대체로 희소 구조적 랜덤 사전처리를 사용하여 초고속 LRA에서 정확도 품질이 떨어지지 않는가?
• RQ4 사전처리된 행렬에 적용된 C-A 및 관련 초고속 알고리즘의 정확도에 대한 이론적 보장은 무엇인가?
• RQ5 초고속 LRA는 빠른 다체법(Fast Multipole Method)과 같은 과학 계산의 버팀목 단계를 어느 정도 가속화할 수 있는가?

주요 결과

• 논문은 교차근사(C-A) 및 기타 초고속 알고리즘이 무작위 및 희소 행렬에 대해 높은 확률(whp)로 정확한 CUR 저질서 근사를 계산함을 증명한다.
• 가우시안, SRHT 또는 SRFT 랜덤 행렬로 사전처리하면, 본질적으로 잘 조절되지 않은 행렬일지라도 결과적인 CUR 근사는 높은 확률(whp)로 정확하다.
• 희소 구조적 랜덤 사전처리 행렬은 초고속 복잡도를 유지하면서도 근사 정확도를 유지하며, 실세계 데이터에 대한 광범위한 실험적 테스트로 확인되었다.
• 제안된 방법은 빠른 다체법(Fast Multipole Method)의 버팀목 단계의 계산 시간을 제곱 시간에서 거의 선형 시간으로 감소시켜 극적인 가속화를 달성한다.
• 이론적 분석은 평균 및 평균-희소 행렬에 대해 초고속 LRA가 가능하다고 보여주며, C-A의 적용 가능 범위를 기존의 제한을 넘어서 확장한다.
• 수치선형대수학과 컴퓨터 과학 기법의 융합은 거친 초고속 LRA를 정교화하고 C-A 단계의 효율성을 향상시킨다.