[논문 리뷰] A Note on Random Sampling for Matrix Multiplication

Yue Wu|arXiv (Cornell University)|2018. 11. 27.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 3

한 줄 요약

이 논문은 기본행렬곱셈(BASICMATRIXMULTIPLICATION)보다 작은 2노름 근사 오차의 가능성을 높이고, 원래 알고리즘의 제곱 프로베니우스 오차 이하로 제한하는, 더 굵은 분할 기반의 무작위 표본 추출 알고리즘을 제안한다. 행렬의 열과 행을 쌍으로 묶고 최적화된 표본 추출 확률을 사용함으로써, 최적의 확률 분포가 거의 균일한 경우, 특히 균형 잡힌 열 노름을 가진 대칭 그람 행렬과 같은 경우 수렴성이 향상된다.

ABSTRACT

Randomized matrix algorithms have had significant recent impact on numerical linear algebra. One especially powerful class of methods are algorithms for approximate matrix multiplication based on sampling. Such methods typically sample individual matrix rows and columns using carefully chosen importance sampling probabilities. However, due to practical considerations like memory locality and the preservation of matrix structure, it is often preferable to sample contiguous blocks of rows and columns all together. Recently, (Wu, 2018) addressed this setting by developing an approximate matrix multiplication method based on block sampling. However, the method is inefficient, as it requires knowledge of optimal importance sampling probabilities that are expensive to compute. We address this issue by showing that the method of Wu can be accelerated through the use of a randomized implicit trace estimation method. Doing so allows us to provably reduce the cost of sampling to near-linear in the size of the matrices being multiplied, without impacting the accuracy of the final approximate matrix multiplication. Overall, this yields a fast practical algorithm, which we test on a number of synthetic and real-world data sets. We complement our algorithmic contribution with the first extensive empirical comparison of block algorithms for randomized matrix multiplication. Our method offers a significant runtime advantage over the method of (Wu, 2018) and also outperforms basic uniform sampling of blocks. However, we find another recent method of (Charalambides, 2021) which uses sub-optimal but efficiently computable sampling probabilities often (but not always) offers the best trade-off between speed and accuracy.

연구 동기 및 목표

• 최적의 표본 추출 확률이 거의 균일한 경우 BASICMATRIXMULTIPLICATION의 수렴 속도가 느려지는 문제를 해결하기 위해.
• 기존의 [5]에서 제안한 무작위 표본 추출 프레임워크를 더 굵은 분할으로 확장하여, 열과 행의 그룹을 함께 표본 추출할 수 있도록 하기 위해.
• 일회성 표본 추출에서 낮은 가중치 성분을 놓치는 일의 가능성을 줄임으로써 근사 정확도를 향상시키기 위해.
• 균일한 확률 분포에 가까운 경우에 더 잘 작동하는 BASICMATRIXMULTIPLICATION의 보완 알고리즘을 제공하기 위해.
• 더 굵은 분할 하에서 2노름 및 프로베니우스 노름 근사 오차에 대한 이론적 경계를 설정하기 위해.

제안 방법

• 개별 요소가 아닌 임의의 분할에 기반한 일반화된 표본 추출 프레임워크를 도입한다.
• 새로운 분할 방식 하에서 행렬 곱의 불편성 추정량을 도출한다 (정리 2.1).
• 기대 제곱 프로베니우스 오차를 최소화하는 최적의 표본 추출 확률 분포를 계산한다 (정리 2.2).
• 비가환 베르누이 부등식을 사용하여 확률적으로 2노름 근사 오차를 제한하며, 최적의 확률이 가장 날카로운 경계를 제공함을 보여준다.
• 쌍별 분할 표본 추출을 구현하기 위한 알고리즘 2를 제안하며, 특화된 확률와 스케일링 인자를 사용한다.
• 다양한 표본 크기에서 상대적 프로베니우스 오차와 2노름 오차를 사용한 몬테카를로 시뮬레이션을 통해 성능을 비교한다.

실험 결과

연구 질문

• RQ1 더 끈적한 분할을 사용함으로써 기본행렬곱셈의 무작위 표본 추출을 개선할 수 있는가?
• RQ2 예를 들어 열과 행의 쌍을 함께 표본 추출함으로써, 개별 요소 표본 추출보다 기대 제곱 프로베니우스 오차를 줄일 수 있는가?
• RQ3 최적의 확률이 거의 균일한 경우, 더 굵은 분할 하에서 2노름 근사 오차는 어떻게 행동하는가?
• RQ4 새로운 알고리즘이 오차 가능성과 경계 측면에서 BASICMATRIXMULTIPLICATION를 능가할 수 있는가?
• RQ5 최소 표본 추출 확률을 높일 경우 오차 분포와 수렴에 어떤 영향을 미치는가?

주요 결과

• 쌍별 분할 기반의 알고리즘 2는 코로나리 2.5와 실험 결과를 통해 BASICMATRIXMULTIPLICATION보다 기대 제곱 프로베니우스 오차가 낮아짐을 보였다.
• 알고리즘 2에서 얻은 2노름 상대 오차 분포는 왼쪽으로 뾰족하고, BASICMATRIXMULTIPLICATION보다 최대값이 더 높아, 작은 오차를 달성할 가능성이 더 높음을 시사한다.
• 최적의 확률이 거의 균일한 경우, 알고리즘 2는 BASICMATRIXMULTIPLICATION가 낮은 가중치 성분을 신뢰성 있게 추출하지 못하는 데 비해 수렴성이 크게 향상된다.
• 최소 표본 추출 확률은 BASICMATRIXMULTIPLICATION의 0.00033에서 알고리즘 2의 0.00070으로 증가하여 모든 성분을 포착할 확률이 높아졌다.
• 표본 크기 c = 3000일 때, 알고리즘 2의 2노름 오차 분포는 BASICMATRIXMULTIPLICATION보다 0에 더 가깝게 나타나 더 빠른 수렴을 확인했다.
• 다양한 표본 크기에서 성능 향상이 일관되게 유지되었으며, 알고리즘 2는 기준보다 항상 낮은 상대적 프로베니우스 오차를 달성했다.