[論文レビュー] randUTV: A blocked randomized algorithm for computing a rank-revealing UTV factorization

Per‐Gunnar Martinsson, Gregorio Quintana‐Ortí+1 more|arXiv (Cornell University)|Mar 3, 2017

Stochastic Gradient Optimization Techniques参考文献 20被引用数 4

ひとこと要約

この論文では、低ランク近似において特異値分解（SVD）に類似した精度を達成しながら、従来のSVDよりもはるかに高速で、並列処理にもより適した、ランダム化されたブロック化アルゴリズムであるrandUTVを紹介する。この手法は、ランダム化された部分空間反復と段階的で反復のないブロック処理を用い、直交行列UとVおよび上三角行列Tを計算することで、早期終了が可能となり、現代のアーキテクチャでも高い性能を発揮する。Tの対角成分は、Aの特異値の精度の高い近似値を提供する。

ABSTRACT

This manuscript describes the randomized algorithm randUTV for computing a so called UTV factorization efficiently. Given a matrix $A$, the algorithm computes a factorization $A = UTV^{*}$, where $U$ and $V$ have orthonormal columns, and $T$ is triangular (either upper or lower, whichever is preferred). The algorithm randUTV is developed primarily to be a fast and easily parallelized alternative to algorithms for computing the Singular Value Decomposition (SVD). randUTV provides accuracy very close to that of the SVD for problems such as low-rank approximation, solving ill-conditioned linear systems, determining bases for various subspaces associated with the matrix, etc. Moreover, randUTV produces highly accurate approximations to the singular values of $A$. Unlike the SVD, the randomized algorithm proposed builds a UTV factorization in an incremental, single-stage, and non-iterative way, making it possible to halt the factorization process once a specified tolerance has been met. Numerical experiments comparing the accuracy and speed of randUTV to the SVD are presented. These experiments demonstrate that in comparison to column pivoted QR, which is another factorization that is often used as a relatively economic alternative to the SVD, randUTV compares favorably in terms of speed while providing far higher accuracy.

研究の動機と目的

• 低ランク行列近似のための、高速でスケーラブルかつ高精度なSVDの代替手法を開発すること。
• 所望のランクまたは許容誤差に達した段階で早期終了が可能な、段階的で反復のないランクを明示するUTV分解の計算を可能にすること。
• ブロック行列演算とランダムサンプリングを活用することで、マルチコアCPU、GPU、分散システムにおいても高い性能を発揮すること。
• 上三角行列Tの対角成分を通じて、行列の特異値の精度の高い近似値を提供すること。
• 特に大きな行列に対して、列ピボット付きQR（CPQR）よりも精度が高く、競争力のある速度を維持すること。

提案手法

• アルゴリズムは、入力行列Aの主要な左および右特異部分空間の直交基底を構築するために、ランダム化された部分空間反復を用いる。
• 行列をサイズbのブロックに分割し、ユニタリ変換を適用して、1段階のブロック化プロセスで各ブロックを上三角形に変形する。
• UTV分解A = U T V* を計算する。ここでUとVはユニタリ行列であり、Tは上三角行列であり、Tの対角成分はAの特異値の近似値を提供する。
• 精度を向上させるために、パワー反復（q ≥ 0）を組み込む。q=1またはq=2のとき、近似的に最適な低ランク近似が得られる。
• 反復を必要とせず、段階的に処理できるように設計されており、所望のランクまたは許容誤差に達した段階で早期終了が可能である。
• 実装では、現代のアーキテクチャで効率的に動作するため、高性能な行列乗算カーネル（例：BLAS3）を活用する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化されたブロック化アルゴリズムは、標準的なSVDよりもはるかに高速である一方で、低ランク近似においてSVDに類似した精度を達成できるか？
• RQ2 randUTVアルゴリズムは、列ピボット付きQRやQLP分解よりも、より高精度な特異値近似値を提供するか？
• RQ3 SVDおよびCPQRと比較して、行列サイズやプロセッサ数の増加に伴うrandUTVのスケーリング特性はいかがなっているか？
• RQ4 過剰サンプリングは、randUTVの精度をどの程度向上させるか？そのコストは正当化されるか？
• RQ5 このアルゴリズムは、現代のマルチコアおよび分散メモリシステムにおいて、効率的に並列化され最適化可能か？

主な発見

• randUTVは、理論的な最小誤差に非常に近い低ランク近似誤差を達成しており、特に列ピボット付きQRよりも顕著に高い精度を示す。
• q=1またはq=2のパワー反復を用いることで、特異値の減少が遅い行列や特異値ギャップがある行列を含むすべてのテスト行列において、近似的に最適な近似誤差が得られる。
• randUTVにおける上三角行列Tの対角成分は、Aの特異値の非常に高精度な近似値を提供しており、CPQRおよびQLP分解を上回る性能を示す。
• 大きな行列に対しては、Intel MKL dgesvdよりも大幅に高速であり、プロセッサ数が増えるほどその相対的な速度優位性が増す。
• 計算集約的なブロック処理と効率的なメモリアクセスパターンを採用しているため、現代のアーキテクチャにおいて、性能が非常にスケーラブルである。
• 過剰サンプリングはわずかな精度向上しかもたらさないため、多くの用途では一般的に不要である。