[論文レビュー] Randomized Numerical Linear Algebra : A Perspective on the Field With an Eye to Software

Riley Murray, James Demmel+11 more|arXiv (Cornell University)|Feb 22, 2023

Stochastic Gradient Optimization Techniques被引用数 16

ひとこと要約

本論は RandNLA を概観し、標準的な RandBLAS および RandLAPACK ライブラリを主張し、ランダム化線形代数アルゴリズムとソフトウェアの実装に配慮した実用的なロードマップを概説する。

ABSTRACT

Randomized numerical linear algebra - RandNLA, for short - concerns the use of randomization as a resource to develop improved algorithms for large-scale linear algebra computations. The origins of contemporary RandNLA lay in theoretical computer science, where it blossomed from a simple idea: randomization provides an avenue for computing approximate solutions to linear algebra problems more efficiently than deterministic algorithms. This idea proved fruitful in the development of scalable algorithms for machine learning and statistical data analysis applications. However, RandNLA's true potential only came into focus upon integration with the fields of numerical analysis and "classical" numerical linear algebra. Through the efforts of many individuals, randomized algorithms have been developed that provide full control over the accuracy of their solutions and that can be every bit as reliable as algorithms that might be found in libraries such as LAPACK. Recent years have even seen the incorporation of certain RandNLA methods into MATLAB, the NAG Library, NVIDIA's cuSOLVER, and SciKit-Learn. For all its success, we believe that RandNLA has yet to realize its full potential. In particular, we believe the scientific community stands to benefit significantly from suitably defined "RandBLAS" and "RandLAPACK" libraries, to serve as standards conceptually analogous to BLAS and LAPACK. This 200-page monograph represents a step toward defining such standards. In it, we cover topics spanning basic sketching, least squares and optimization, low-rank approximation, full matrix decompositions, leverage score sampling, and sketching data with tensor product structures (among others). Much of the provided pseudo-code has been tested via publicly available MATLAB and Python implementations.

研究の動機と目的

• 大規模線形代数問題に対するスケーラブルなアプローチとして RandNLA を動機づける。
• ランダム性がどのように隠れた構造を露出させ、より高速で制御可能な精度を達成できるかを明確にする。
• 実装と展開を標準化するソフトウェア指向のフレームワーク（RandBLAS/RandLAPACK）を提案する。

提案手法

• 線形代数における次元削減の中核的なランダム化手法としてスケッチを説明する。
• スケッチ演算子（密、疎、変換ベース）とそれらの性質を分類する。
• ドライバーレベルのアルゴリズム（最小二乗法、最適化、および低ランク近似）とそれらの計算手順を概説する。
• 有限精度演算とデータ移動がアルゴリズムの性能に与える影響を論じる。
• 明確に定義された API を備えたモジュラーなソフトウェアアーキテクチャを提唱する（スケッチングには RandBLAS、より高レベルな問題には RandLAPACK）。
• ソフトウェア導入を支援するための疑似コード、付録、および検証済みの MATLAB/Python 実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化スケッチ技術をどのように標準化して、線形代数の信頼性が高く高性能なソフトウェアライブラリを構築できるか？
• RQ2 共通の問題クラス（LS、最適化、低ランク近似）全般で、RandNLAベースのアルゴリズムが満たすべき中核設計原則と性能保証は何か？
• RQ3 RandBLAS と RandLAPACK を、ハードウェアとソフトウェアエコシステム全体で移植性、効率、使いやすさを最大化するようにどのように組織すべきか？
• RQ4 有限精度演算とデータ移動が RandNLA 手法の精度と性能に与える実践的影響は何か？
• RQ5 科学計算や ML パイプラインで RandNLA の普及を加速するために必要な主要な実測ベンチマークとソフトウェア抽象化は何か？

主な発見

• RandNLA は、ランダム化スケッチを活用することで、多くの過定量化または高次元の線形代数問題に対してほぼ線形時間または線形時間のアプローチを提供する。
• ランダム化はデータ移動を削減し、古典的な決定論的手法と比較して実行時間の高速化をもたらすことがある。
• ユーザーは大規模問題で予測可能な挙動を持つ調整可能なランダム化アルゴリズムを用いて、精度と計算コストをトレードオフできる。
• スケッチ分布と基本的な乱数生成は、シードを固定すると決定論的な挙動を可能にし、再現性を促進する。
• 著者らは、 RandBLAS をスケッチング用、 RandLAPACK をドライバー用とする二つのライブラリエコシステムを提唱し、 RandNLA ソフトウェア開発を標準化・加速する。
• 公的領域の実装（MATLAB/Python）が理論およびアルゴリズムの展開に伴い、普及を容易にする。