[논문 리뷰] Randomized Numerical Linear Algebra : A Perspective on the Field With an Eye to Software

Riley Murray, James Demmel외 11명|arXiv (Cornell University)|2023. 02. 22.

Stochastic Gradient Optimization Techniques인용 수 16

한 줄 요약

이 논문은 RandNLA를 고찰하고 표준 RandBLAS 및 RandLAPACK 라이브러리를 옹호하며, 무작위 선형대수 알고리즘 및 소프트웨어를 위한 실용적이고 구현 친화적인 로드맵을 제시한다.

ABSTRACT

Randomized numerical linear algebra - RandNLA, for short - concerns the use of randomization as a resource to develop improved algorithms for large-scale linear algebra computations. The origins of contemporary RandNLA lay in theoretical computer science, where it blossomed from a simple idea: randomization provides an avenue for computing approximate solutions to linear algebra problems more efficiently than deterministic algorithms. This idea proved fruitful in the development of scalable algorithms for machine learning and statistical data analysis applications. However, RandNLA's true potential only came into focus upon integration with the fields of numerical analysis and "classical" numerical linear algebra. Through the efforts of many individuals, randomized algorithms have been developed that provide full control over the accuracy of their solutions and that can be every bit as reliable as algorithms that might be found in libraries such as LAPACK. Recent years have even seen the incorporation of certain RandNLA methods into MATLAB, the NAG Library, NVIDIA's cuSOLVER, and SciKit-Learn. For all its success, we believe that RandNLA has yet to realize its full potential. In particular, we believe the scientific community stands to benefit significantly from suitably defined "RandBLAS" and "RandLAPACK" libraries, to serve as standards conceptually analogous to BLAS and LAPACK. This 200-page monograph represents a step toward defining such standards. In it, we cover topics spanning basic sketching, least squares and optimization, low-rank approximation, full matrix decompositions, leverage score sampling, and sketching data with tensor product structures (among others). Much of the provided pseudo-code has been tested via publicly available MATLAB and Python implementations.

연구 동기 및 목표

• 대규모 선형대수 문제에 대한 확장 가능한 접근 방식으로 RandNLA의 활용을 촉진한다.
• 무작위성이 어떻게 숨겨진 구조를 밝히고 더 빠른, 제어 가능한 정확도를 달성하는지 명확히 한다.
• 구현 및 배치를 표준화하기 위한 소프트웨어 지향 프레임워크(RandBLAS/RandLAPACK)를 제안한다.

제안 방법

• 선형대수에서 차원 축소를 위한 핵심 무작위 기법으로 스케치(sketching)를 설명한다.
• 스케치 연산자(밀집형, 희소형, 변환 기반)의 분류와 특성을 설명한다.
• 드라이버 수준 알고리즘(최소제곱, 최적화 및 저랭크 근사)과 그 계산 루틴을 개요화한다.
• 유한 정밀도 산술과 데이터 이동이 알고리즘 성능에 미치는 영향을 논의한다.
• 정의된 API를 갖춘 모듈형 소프트웨어 아키텍처를 지지한다(스케치용 RandBLAS; 고급 문제용 RandLAPACK).
• 소프트웨어 도입을 지원하기 위한 의사코드, 부록 및 검증된 MATLAB/Python 구현을 제공합니다.

실험 결과

연구 질문

• RQ1 무작위 스케치 기법을 어떻게 표준화하여 선형대수용으로 신뢰할 수 있고 고성능의 소프트웨어 라이브러리를 구축할 수 있는가?
• RQ2 일반 문제 계열(LS, 최적화, 저랭크 근사)에서 RandNLA 기반 알고리즘이 충족해야 할 핵심 설계 원칙과 성능 보장은 무엇인가?
• RQ3 RandBLAS와 RandLAPACK를 하드웨어 및 소프트웨어 생태계 전반에서 이식성, 효율성, 사용성을 극대화하도록 어떻게 구성해야 하는가?
• RQ4 유한 정밀도 산술과 데이터 이동이 RandNLA 방법의 정확도와 성능에 미치는 실용적 영향은 무엇인가?
• RQ5 과학 컴퓨팅 및 ML 파이프라인에서 RandNLA의 채택을 가속화하기 위해 필요한 주요 실증 벤치마크 및 소프트웨어 추상화는 무엇인가?

주요 결과

• RandNLA는 무작위 스케치를 활용하여 많은 과도하게 결정되거나 고차원 선형대수 문제에 대해 거의 선형 시간 또는 선형 시간의 접근법을 제공합니다.
• 무작위화는 데이터 이동을 감소시키고 기존의 결정적 방법에 비해 실제 벽시계 시간 증가를 가져올 수 있습니다.
• 사용자들은 대규모 문제에서 예측 가능한 동작을 가지는 tunable 무작위 알고리즘을 사용해 정확도와 계산 비용 간에 트레이드오프를 할 수 있다.
• 스케칭 분포와 기본 난수 생성은 시드를 고정하면 결정론적 동작을 가능하게 하여 재현성을 촉진한다.
• 저자들은 RandBLAS(스케칭용)와 RandLAPACK(드라이버용) 두 라이브러리 생태계를 제안하여 RandNLA 소프트웨어 개발을 표준화하고 가속화한다.
• 공개 도메인 구현(MATLAB/Python)이 이론 및 알고리즘 개발과 함께 제공되어 채택을 용이하게 한다.