[논문 리뷰] Low Rank Approximation at Sublinear Cost

Qi Luan, Victor Y. Pan외 2명|arXiv (Cornell University)|2019. 06. 11.

Stochastic Gradient Optimization Techniques참고 문헌 45인용 수 6

한 줄 요약

이 논문은 저랭크 근사(LRA)가 하위선형 비용에서 계산될 수 있는지에 대한 역설을 해결하며, 크로스근사(C-A) 반복이 희소 테스트 행렬을 사용하는 재귀적 스케치 알고리즘임을 보여주어 높은 확률로 거의 최적의 LRA를 달성함을 밝힘. C-A는 대부분의 입력에 대해 한 번의 재귀 단계에서 빠르게 수렴함을 증명하며, 어려운 케이스의 좁은 범주를 제외하고는, 그리고 [11]의 리지드 스코어를 통한 스케치 향상으로 정확도와 강건성을 향상시킴.

ABSTRACT

Low Rank Approximation (LRA) of a matrix is a hot research subject, fundamental for Matrix and Tensor Computations and Big Data Mining and Analysis. Computations with low rank matrices can be performed at sublinear cost -- by using much fewer floating-point operations (flops) than an input matrix has entries, but can we compute LRA at sublinear cost? This is routinely done in computational practice for a large class of inputs, even though any sublinear cost LRA algorithm fails most miserably on worst case matrices. To provide insight into this controversy we first accelerate some popular near-optimal random sketching LRA algorithms -- to run them at sublinear cost. Then we define two probabilistic structures in the space of input matrices and estimate that the expected spectral and Frobenius error norms for the output LRA of the accelerated algorithms stay within a reasonable factor from their optima under both models, and so these sublinear cost algorithms only fail for a very narrow input class. Our upper estimates for their output accuracy are still quite high, but under some additional semi-heuristic amendments the algorithms have consistently output accurate LRA of various synthetic and real-world matrices in our numerical tests.

연구 동기 및 목표

• 최악의 경우에서 LRA가 하위선형 비용에서 계산될 수 없다는 이론적 하한선과는 대조적으로 실무에서 C-A 반복이 끊임없이 고품질의 근사를 생성한다는 명백한 모순을 해결하기 위해.
• C-A 반복을 하위선형 계산 비용을 달성하기 위해 샘플링 테스트 행렬을 사용하는 재귀적 스케치 알고리즘으로 공식화하기 위해.
• C-A의 수렴 행동을 분석하고, 한 번의 재귀 단계에서 거의 최적의 LRA 오차 한계를 고확률로 달성함을 보여주기 위해.
• [11]의 리지드 스코어를 통합함으로써 스케칭의 강건성을 향상시켜, 불량 조건이거나 근사가 어려운 입력 행렬에서의 성능을 향상시키기 위해.
• 하위선형 알고리즘의 LRA 출력 오차 노름에 대한 이론적 보장을 제공하여, 온건한 조건 하에서 최적의 절삭 SVD 한계의 작은 상수 배수 이내임을 보여주기 위해.

제안 방법

• C-A 반복을 희소 테스트 행렬을 사용하여 행렬의 모든 원소에 접근하지 않고도 저랭크 구조를 샘플링하고 근사하는 재귀적 스케치 알고리즘으로 공식화함.
• C-A 동안 선택된 부분행렬의 품질을 측정하기 위해 부피 기반 분석을 적용하며, 근사 정확도의 대체 측정으로 프로젝티브 부피 $ \operatorname{v}_{2,r}(W_{\mathcal{I},\mathcal{J}}) $ 를 사용함.
• 확률론적 행렬 이론과 농도 부등식(예: 가우시안 尾부 bound)을 적용하여 선택된 부분행렬과 최적 부분행렬 간의 부피 비율에 대한 고확률 한계를 유도함.
• 각 단계에서 잔차 정보를 기반으로 새로운 행과 열을 선택하여 현재 근사를 개선하는 재귀적 프레임워크를 도입함으로써 부분행렬 품질을 점진적으로 향상시킴.
• 스케칭 과정에서 [11]의 리지드 스코어를 통합하여 정보가 풍부한 행/열을 선택할 확률을 높이고 오차 한계를 감소시킴.
• 조건 수를 최소화하고 안정성을 향상시키기 위해 스케칭 과정 중 최적의 부분행렬을 선택하는 기준으로 모레-펜로즈 의사역행렬 노름 $ \| (FMH)^+ \|_2 $ 을 사용함.

실험 결과

연구 질문

• RQ1 이론적 하한선에 의해 최악의 경우 오차 요인에 제한이 있음에도 불구하고, 거의 최적의 오차 한계를 갖는 하위선형 비용으로 저랭크 근사를 계산할 수 있는가?
• RQ2 하위선형 비용에서 작동하는 크로스근사(C-A) 반복이 실무에서 왜 끊임없이 고품질의 저랭크 근사를 생성하는가?
• RQ3 C-A는 어떻게 희소 테스트 행렬을 사용하는 재귀적 스케치 알고리즘으로 공식적으로 해석될 수 있으며, 그 수렴에 대한 이론적 보장은 무엇인가?
• RQ4 리지드 스코어는 스케칭 기반 LRA 알고리즘의 강건성과 정확도를 향상시키는 데 어떤 역할을 하는가?
• RQ5 어떤 조건에서 스케칭 알고리즘이 최적의 절삭 SVD 오차의 작은 상수 배수 이내의 오차 노름을 달성하는가?

주요 결과

• C-A 반복은 희소 테스트 행렬을 사용하는 재귀적 스케치 알고리즘으로 공식화되어 하위선형 비용에서의 경험적 성공을 설명함.
• большин의 입력에 대해 C-A는 한 번의 재귀 단계에서 거의 최적의 LRA 오차를 달성하며, 오차 노름이 최적의 SVD 한계의 작은 상수 배수 이내임.
• 약한 최대 프로젝티브 부피 부분행렬을 선택할 확률은 행렬 크기 $ m $ 에 따라 증가하며, 실패 확률은 랭크 $ r $ 에 대해 지수적으로 감소함.
• 이론적 한계는 알고리즘이 출력하는 LRA의 오차가 최적의 부피에 대해 $ \left(\frac{1+\theta}{1-\phi}\right)^r \left(\frac{(p+r)(q+r)}{pq}\right)^{r/2} $ 배 이내임을 고확률로 보여줌.
• 스케칭 과정에 리지드 스코어를 통합하면, 불량 조건이거나 근사가 어려운 행렬에서의 알고리즘의 강건성이 향상됨.
• 이론적 분석은 테스트 행렬 $ H $ 가 입력 행렬의 최상위 오른쪽 특이부공간과 일치하지 않는 한, 오차 행렬의 스펙트럼 및 프로베니우스 노름이 최적의 SVD 오차의 작은 상수 배수 이내임을 확인함.