[論文レビュー] Blocked rank-revealing QR factorizations: How randomized sampling can be used to avoid single-vector pivoting

Per‐Gunnar Martinsson|arXiv (Cornell University)|May 29, 2015

Stochastic Gradient Optimization Techniques参考文献 4被引用数 12

ひとこと要約

本稿では、従来の単一ベクトル列ピボットを置き換え、ランダムサンプリングを用いてピボットベクトルのブロックを選択することで、効率的な BLAS3 操作を可能にするとともに、大規模または分散処理環境における性能向上を実現するブロック化されたランク顕在QR分解を提示する。この手法は、Rの対角成分が特異値に近似的に一致するため、近似的に最適な低ランク近似精度を達成する一方で、O(mn min(m,n)) のフロップ数を維持し、通信制約環境におけるデータ移動を顕著に削減する。

ABSTRACT

Given a matrix $A$ of size $m imes n$, the manuscript describes a algorithm for computing a QR factorization $AP=QR$ where $P$ is a permutation matrix, $Q$ is orthonormal, and $R$ is upper triangular. The algorithm is blocked, to allow it to be implemented efficiently. The need for single vector pivoting in classical algorithms for computing QR factorizations is avoided by the use of randomized sampling to find blocks of pivot vectors at once. The advantage of blocking becomes particularly pronounced when $A$ is very large, and possibly stored out-of-core, or on a distributed memory machine. The manuscript also describes a generalization of the QR factorization that allows $P$ to be a general orthonormal matrix. In this setting, one can at moderate cost compute a extit{rank-revealing} factorization where the mass of $R$ is concentrated to the diagonal entries. Moreover, the diagonal entries of $R$ closely approximate the singular values of $A$. The algorithms described have asymptotic flop count $O(m\,n\,\min(m,n))$, just like classical deterministic methods. The scaling constant is slightly higher than those of classical techniques, but this is more than made up for by reduced communication and the ability to block the computation.

研究の動機と目的

• 大規模または分散コンピューティング環境における、従来の単一ベクトル列ピボットを用いたQR分解の性能ボトルネックを解消すること。
• ランダムサンプリングを用いたブロック化を可能にすることで、データ移動を低減し、BLAS3 操作の利用を向上させ、QR分解の効率化を図ること。
• Rの対角成分が行列Aの特異値に近似的に一致するランク顕在QRの変種を開発し、高品質な低ランク近似を可能にすること。
• ピボット行列を置換行列からハウスホルダー反射行列の積への一般化により、漸近的計算量を増加させることなく近似精度を向上させること。

提案手法

• アルゴリズムは、ランダムサンプリングを用いて、行列の部分空間に寄与する可能性が最も高い列のブロックを特定し、逐次的単一ベクトルピボットを置き換える。
• ハウスホルダー反射行列を用いてブロック化QR分解 A P ≈ Q R を計算する。ここでPはハウスホルダー行列の積または置換行列である。
• ランダムサンプリングステップでは、現在の行列ブロックの部分空間を推定するためのランダムベクトルの集合を選択し、SVD や反復的修正を明示的に行わずにピボットブロックを選択可能にする。
• 本手法は、ブロックピボット付きの標準QRと、Pがハウスホルダー反射行列からなる直交行列として構成される一般化されたランク顕在型変種の両方をサポートする。
• BLAS3 操作を効率的に活用できるように、要因分解を構造化することで、現代のアーキテクチャおよび外部記憶装置や分散システムにおける性能向上を実現する。
• アルゴリズムは、古典的QRと同一の漸近的 O(mn min(m,n)) の計算コストを維持するが、サンプリングのオーバーヘッドにより若干の定数倍が増加する。

実験結果

リサーチクエスチョン

• RQ1 ランダムサンプリングを用いて、QR分解における単一ベクトル列ピボットを置き換え、数値的安定性と精度を維持できるか？
• RQ2 ランダムピボット選択によるQR分解のブロック化は、データ移動を低減することで、大規模または分散行列における性能向上を達成できるか？
• RQ3 直交ピボット行列（例：ハウスホルダーに基づく）を用いた一般化されたQR分解は、標準RRQRよりも優れた低ランク近似品質を達成できるか？
• RQ4 提案されたブロック化RRQRフレームワークにおいて、Rの対角成分はAの特異値をどれほどよく近似するか？
• RQ5 大規模QR分解において、ランダムサンプリングと古典的ピボットの間で、計算コストと近似精度のトレードオフはどのようなものか？

主な発見

• ランダムサンプリングを用いたブロック化RRQRは、特にフロベニウスノルムにおいて、切断SVDと同等の低ランク近似誤差を達成し、古典的列ピボットQRを上回る性能を示す。
• ブロックRRQR法におけるRの対角成分は、Aの特異値に非常に近似的に一致しており、そのランク顕在性が裏付けられる。
• 置換行列の代わりにハウスホルダーに基づくピボット行列を用いることで、特異値がゆっくりと減少する行列において、近似精度が顕著に向上する。
• 通信コストを低減し、BLAS3 操作の効率的利用を可能にすることで、わずかに高いフロップ数であるものの、分散または外部記憶装置対応システムにおいて優れた性能を発揮する。
• S字型の特異値減少を示す行列に対する数値実験では、従来手法が困難に陥る状況でも、ランダムブロック法が高い精度を維持することが示された。
• アルゴリズムは行列サイズおよびブロックサイズに応じて良好にスケーリングされ、フルSVDが非現実的となる大規模問題においても、頑健性と効率性を示す。