[論文レビュー] A Note on Random Sampling for Matrix Multiplication

Yue Wu|arXiv (Cornell University)|Nov 27, 2018

Stochastic Gradient Optimization Techniques参考文献 15被引用数 3

ひとこと要約

本稿では、BASICMATRIXMULTIPLICATIONを改善するための、より粗い分割に基づくランダムサンプリングアルゴリズムを提案する。この手法は、2-ノルム近似誤差が小さい確率を高めるとともに、元のアルゴリズムより小さい二乗フロベニウス誤差を上限としている。行列の列と行をペアにグループ化し、最適なサンプリング確率を最適化することで、特に最適確率分布がほぼ一様である場合（例えば、列ノルムがバランスの取れた対称的グラム行列など）に収束性が向上する。

ABSTRACT

Randomized matrix algorithms have had significant recent impact on numerical linear algebra. One especially powerful class of methods are algorithms for approximate matrix multiplication based on sampling. Such methods typically sample individual matrix rows and columns using carefully chosen importance sampling probabilities. However, due to practical considerations like memory locality and the preservation of matrix structure, it is often preferable to sample contiguous blocks of rows and columns all together. Recently, (Wu, 2018) addressed this setting by developing an approximate matrix multiplication method based on block sampling. However, the method is inefficient, as it requires knowledge of optimal importance sampling probabilities that are expensive to compute. We address this issue by showing that the method of Wu can be accelerated through the use of a randomized implicit trace estimation method. Doing so allows us to provably reduce the cost of sampling to near-linear in the size of the matrices being multiplied, without impacting the accuracy of the final approximate matrix multiplication. Overall, this yields a fast practical algorithm, which we test on a number of synthetic and real-world data sets. We complement our algorithmic contribution with the first extensive empirical comparison of block algorithms for randomized matrix multiplication. Our method offers a significant runtime advantage over the method of (Wu, 2018) and also outperforms basic uniform sampling of blocks. However, we find another recent method of (Charalambides, 2021) which uses sub-optimal but efficiently computable sampling probabilities often (but not always) offers the best trade-off between speed and accuracy.

研究の動機と目的

• 最適サンプリング確率がほぼ一様である場合に、BASICMATRIXMULTIPLICATIONの収束が遅い問題を解決すること。
• 文献[5]におけるランダムサンプリング枠組みを、より粗い分割へと拡張し、列と行のグループを同時にサンプリング可能にする。
• 1回のスキャンで低重み成分を逃す可能性を低減することで、近似精度を向上させること。
• 最適確率分布がほぼ一様であるような状況で、BASICMATRIXMULTIPLICATIONよりも優れた性能を示す補完的アルゴリズムを提供すること。
• より粗い分割における2-ノルムおよびフロベニウスノルム近似誤差の理論的上限を確立すること。

提案手法

• 個々の要素ではなく、行列の列と行の任意の分割に基づく一般化されたサンプリング枠組みを導入する。
• 新しい分割方式における行列積の不偏推定量を導出する（命題2.1）。
• 期待される二乗フロベニウス誤差を最小化する最適なサンプリング確率分布を計算する（命題2.2）。
• 非可換ベルンシュタイン不等式を用いて、2-ノルム近似誤差の確率的上限を導出し、最適確率が最もタイトな境界を与えることを示す。
• ペアワイズ分割サンプリングを実装するためのアルゴリズム2を提案。最適な確率とスケーリング係数を用いる。
• さまざまなサンプルサイズにおける相対的フロベニウス誤差および2-ノルム誤差を用いたモンテカルロシミュレーションにより、性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 細かい分割ではなく、より粗い分割を用いることで、行列乗算のランダムサンプリングを改善できるか？
• RQ2 列と行のグループ（例：ペア）としてサンプリングすることで、個々の要素のサンプリングに比べて、期待される二乗フロベニウス誤差を低減できるか？
• RQ3 最適確率がほぼ一様である場合に、2-ノルム誤差はより粗い分割によってどのように変化するか？
• RQ4 新しいアルゴリズムは、誤差発生確率と上限の両面でBASICMATRIXMULTIPLICATIONを上回ることができるか？
• RQ5 最小サンプリング確率を増加させることで、誤差分布と収束性にどのような影響が生じるか？

主な発見

• ペアワイズ分割に基づくアルゴリズム2は、コロラリー2.5および実験により、BASICMATRIXMULTIPLICATIONの期待二乗フロベニウス誤差を下回ることが確認された。
• アルゴリズム2の2-ノルム相対誤差分布は左に偏っており、最大値もBASICMATRIXMULTIPLICATIONよりも高いことから、小さな誤差を達成する確率が高くなっている。
• 最適確率がほぼ一様である場合、アルゴリズム2はBASICMATRIXMULTIPLICATIONに比べて著しく収束性が向上しており、低重み成分を信頼性高くサンプリングできる。
• 最小サンプリング確率は、BASICMATRIXMULTIPLICATIONの0.00033からアルゴリズム2では0.00070に上昇し、すべての成分を捉える確率が向上した。
• サンプルサイズc = 3000の場合、アルゴリズム2の2-ノルム誤差分布はBASICMATRIXMULTIPLICATIONよりも0に近づいていることから、収束が速いことが確認された。
• さまざまなサンプルサイズにおいて性能向上が一貫しており、アルゴリズム2は常にベースラインより低い相対的フロベニウス誤差を達成している。