[論文レビュー] Efficient randomized algorithms for adaptive low-rank factorizations of large matrices.

Yu Gu, Wenjian Yu+1 more|arXiv (Cornell University)|Jun 30, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用数 9

ひとこと要約

本論文は、大規模な行列の適応的低ランク因子分解のための2つの効率的なランダム化アルゴリズム、randQB_EI と randQB_FP を提示する。ブロック化された randQB 方式を基盤とし、経済的な誤差指標と行列をループ外に移動する最適化を用いることで、計算効率とパス効率を大幅に向上させ、大規模なスパース行列において実行時間とメモリ使用量を最大20倍まで削減しながら、正確性を維持し、ユーザーが定めた許容誤差 ε に対してほぼ最適なランクを達成する。

ABSTRACT

In this paper, randomized techniques for computing low-rank factorizations are presented. The proposed methods take in a tolerance $\varepsilon$ and an $m imes n$ matrix $\boldsymbol{A}$, and output an approximate low-rank factorization of $\boldsymbol{A}$, whose error measured in the Frobenius norm is within $\varepsilon$. The techniques are based on the blocked randQB scheme proposed by P.-G. Martinsson and S. Voronin, producing a QB factorization. By employing an economic error indicator and moving $\boldsymbol{A}$ out of the loop, the techniques result in two algorithms called randQB_EI and randQB_FP. They are mathematically equivalent to the existing blocked scheme, but are more computationally efficient. The randQB_FP algorithm also owns the merit of pass-efficiency. Numerical experiments on a multi-core parallel computing server show that the proposed algorithms have the similar accuracy as the blocked randQB scheme, but cost a small fraction of runtime and memory. The benefits are even larger (up to 20X) for handling large sparse matrices. Compared with the adaptive range finder algorithm, the proposed methods output much smaller and close to optimal rank while satisfying the preset accuracy tolerance.

研究の動機と目的

• ユーザーが指定する誤差許容誤差 ε の下で、大規模な行列の計算的に効率的な適応的低ランク因子分解アルゴリズムの開発。
• 計算オーバーヘッドとメモリ使用量を削減するため、既存のブロック化された randQB 方式をアルゴリズム的最適化によって改善すること。
• 大規模かつスパースな行列の効果的処理を可能にするために、行列因子分解におけるパス効率を達成すること。
• 指定された誤差許容誤差を満たしつつ、最適に近いランクを持つ低ランク因子分解を生成すること。
• 最適化されたメモリアクセスと計算ループの削減を通じて、マルチコアシステムにおけるパフォーマンスを向上させること。

提案手法

• 提案されたアルゴリズムは、ブロック化された randQB 方式を拡張し、冗長な計算を回避するための経済的な誤差指標を導入する。
• 行列 A を主な計算ループから外に移動させ、メモリアクセスを削減し、キャッシュ効率を向上させる。
• randQB_EI アルゴリズムは、完全な残差を再計算せずに、近似品質を動的に評価するための誤差指標を用いる。
• randQB_FP アルゴリズムは、さらに効率を高めるためにパス効率を実現し、主記憶に収まらないほど大きな行列の処理を可能にする。
• 両アルゴリズムとも、元のブロック化された randQB 方式と数学的に同等でありながら、パフォーマンスが向上している。
• これらの手法は、ランダムサンプリングと QR を用いた列選択に基づき、フロベニウスノルム誤差を制御した QB 因子分解を構築する。

実験結果

リサーチクエスチョン

• RQ1 適応的低ランク因子分解の計算コストを、正確性を損なわずに著しく削減することは可能か？
• RQ2 ブロック化された randQB 方式は、大規模な行列因子分解におけるメモリ使用量と実行時間の削減を図るために、どのように最適化できるか？
• RQ3 スパースで大規模な行列に対して、ランダム化された低ランク因子分解でどの程度のパス効率を達成できるか？
• RQ4 指定された誤差許容誤差 ε を満たしつつ、得られる因子分解のランクを最適に近づけることは可能か？
• RQ5 提案されたアルゴリズムは、適応的レンジファイナと元のブロック化された randQB 方式と比較して、パフォーマンスと正確性においてどのように異なるか？

主な発見

• randQB_EI および randQB_FP アルゴリズムは、ブロック化された randQB 方式と同等の正確性を達成しながら、実行時間とメモリ使用量を元の値のわずか数パーセントにまで削減する。
• 大規模なスパース行列に対して、提案されたアルゴリズムはブロック化された randQB 方式と比較して最大20倍の高速化を達成する。
• アルゴリズムは、ユーザーが定めた誤差許容誤差 ε を満たしつつ、適応的レンジファイナよりもはるかに最適に近いランクの因子分解を生成する。
• randQB_FP のバージョンはパス効率を示し、主記憶に収まらない行列の効果的処理を可能にする。
• 経済的な誤差指標の使用により、正確性を損なわずに計算オーバーヘッドが著しく削減された。
• マルチコアサーバーを用いた数値実験により、提案手法のスケーラビリティと頑健性が、さまざまな行列サイズとスパarsityレベルで確認された。