[논문 리뷰] Efficient randomized algorithms for adaptive low-rank factorizations of large matrices.

Yu Gu, Wenjian Yu외 1명|arXiv (Cornell University)|2016. 06. 30.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 9

한 줄 요약

이 논문은 대규모 행렬에 대한 적응형 저질서 분해를 위한 두 가지 효율적인 랜덤 알고리즘, randQB_EI와 randQB_FP를 제안한다. 블록화된 randQB 기반으로, 경제적인 오차 지표와 행렬을 루프 외부로 이동시키는 최적화를 통해 계산 효율성과 패assing 효율성을 향상시켰다. 이로 인해 큰 희소 행렬의 경우 런타임과 메모리 사용을 최대 20배까지 감소시키면서도 정확도를 유지하고 사용자 정의 허용 오차 ε 하에서 거의 최적의 질서를 달성하였다.

ABSTRACT

In this paper, randomized techniques for computing low-rank factorizations are presented. The proposed methods take in a tolerance $\varepsilon$ and an $m imes n$ matrix $\boldsymbol{A}$, and output an approximate low-rank factorization of $\boldsymbol{A}$, whose error measured in the Frobenius norm is within $\varepsilon$. The techniques are based on the blocked randQB scheme proposed by P.-G. Martinsson and S. Voronin, producing a QB factorization. By employing an economic error indicator and moving $\boldsymbol{A}$ out of the loop, the techniques result in two algorithms called randQB_EI and randQB_FP. They are mathematically equivalent to the existing blocked scheme, but are more computationally efficient. The randQB_FP algorithm also owns the merit of pass-efficiency. Numerical experiments on a multi-core parallel computing server show that the proposed algorithms have the similar accuracy as the blocked randQB scheme, but cost a small fraction of runtime and memory. The benefits are even larger (up to 20X) for handling large sparse matrices. Compared with the adaptive range finder algorithm, the proposed methods output much smaller and close to optimal rank while satisfying the preset accuracy tolerance.

연구 동기 및 목표

• 사용자 지정 오차 허용 오차 ε 하에서 대규모 행렬의 적응형 저질서 분해를 위한 계산 효율적인 알고리즘을 개발하기 위해.
• 알고리즘 최적화를 통해 기존의 블록화된 randQB 기반에서 계산 오버헤드와 메모리 사용을 줄이기 위해.
• 대규모 및 희소 행렬의 효과적 처리를 가능하게 하기 위해 행렬 분해에서 패assing 효율성을 달성하기 위해.
• 사용자 지정 오차 허용 오차를 만족하면서도 최적에 가까운 질서를 갖는 저질서 분해를 생성하기 위해.
• 최적화된 메모리 접근과 계산 루프 감소를 통해 다중 코어 시스템에서의 성능을 향상시키기 위해.

제안 방법

• 제안된 알고리즘은 블록화된 randQB 기반에 경제적인 오차 지표를 도입하여 불필요한 계산을 방지함으로써 확장된다.
• 행렬 A가 주 계산 루프 외부로 이동되어 메모리 접근을 줄이고 캐시 효율성을 향상시킨다.
• randQB_EI 알고리즘은 전체 잔차를 재계산하지 않고도 근사 품질을 동적으로 평가하기 위해 오차 지표를 사용한다.
• randQB_FP 알고리즘은 패assing 효율성을 가능하게 하여 메모리에 들어가지 않는 크기의 행렬도 처리할 수 있도록 더욱 효율성을 높였다.
• 두 알고리즘 모두 원래의 블록화된 randQB 기반과 수학적으로 동치이지만 성능 향상을 이루었다.
• 알고리즘은 랜덤 샘플링과 QR 기반의 열 선택을 기반으로 하여 제어된 프로베누스 노름 오차를 갖는 QB 분해를 구성한다.

실험 결과

연구 질문

• RQ1 정확도를 훼손하지 않고도 적응형 저질서 분해의 계산 비용을 크게 줄일 수 있는가?
• RQ2 대규모 행렬 분해에서 메모리 사용과 런타임을 줄이기 위해 블록화된 randQB 기반을 어떻게 최적화할 수 있는가?
• RQ3 희소성과 대규모 성질을 갖는 행렬에 대해 랜덤화된 저질서 분해에서 패assing 효율성을 어느 정도 달성할 수 있는가?
• RQ4 사용자 정의 오차 허용 오차 ε 를 만족하면서도 결과 분해의 질서를 최적에 더 가깝게 만들 수 있는가?
• RQ5 제안된 알고리즘은 적응형 범위 탐색기와 원래의 블록화된 randQB 기반과 비교해 성능과 정확도에서 어떻게 다른가?

주요 결과

• randQB_EI와 randQB_FP 알고리즘은 블록화된 randQB 기반과 유사한 정확도를 달성하면서도 원래 대비 런타임과 메모리 사용을 극히 작은 비율로 줄였다.
• 큰 희소 행렬의 경우, 제안된 알고리즘은 블록화된 randQB 기반 대비 최대 20배의 속도 향상을 달성하였다.
• 알고리즘은 사용자 정의 오차 허용 오차 ε 를 만족하면서도 적응형 범위 탐색기보다 훨씬 최적에 가까운 질서를 갖는 분해를 생성하였다.
• randQB_FP 변종은 패assing 효율성을 보여주어 주 메모리 용량을 초과하는 행렬의 효과적 처리를 가능하게 하였다.
• 경제적인 오차 지표의 사용은 정확도를 훼손하지 않으면서도 계산 오버헤드를 성공적으로 줄였다.
• 다중 코어 서버에서의 수치 실험 결과, 제안된 방법은 다양한 행렬 크기와 희소 수준에서 확장성과 강건성을 입증하였다.