[論文レビュー] A Hierarchical Singular Value Decomposition Algorithm for Low Rank Matrices

V. Vasudevan, M. Ramakrishna|arXiv (Cornell University)|Oct 8, 2017

Matrix Theory and Algorithms参考文献 4被引用数 26

ひとこと要約

本稿では、行列のブロックごとに再帰的に統合・切り捨てを行うことで、密行列の低ランク近似を効率的に行う階層的ブロックベースSVDアルゴリズムを提案する。この手法は、1コアでもフルSVDに比べて最大2倍の高速化を達成し、低ランク行列では3%未満の誤差を維持する。また、二重の行方向および列方向の分割により、任意の行列次元をサポートする。

ABSTRACT

Singular value decomposition (SVD) is a widely used technique for dimensionality reduction and computation of basis vectors. In many applications, especially in fluid mechanics and image processing the matrices are dense, but low-rank matrices. In these cases, a truncated SVD corresponding to the most significant singular values is sufficient. In this paper, we propose a tree based merge-and-truncate algorithm to obtain an approximate truncated SVD of the matrix. Unlike previous methods, our technique is not limited to "tall and skinny" or "short and fat" matrices and it can be used for matrices of arbitrary size. The matrix is partitioned into blocks and the truncated SVDs of blocks are merged to obtain the final SVD. If the matrices are low rank, this algorithm gives significant speedup over finding the truncated SVD, even when run on a single core. The error is typically less than 3\%.

研究の動機と目的

• 流体力学や画像処理で一般的に見られる、大規模で密な低ランク行列に対するフルSVDの計算非効率性を解消すること。
• 従来の分散SVD手法が「縦長」または「横長」の行列に限定されるという制限を克服すること。
• 最小限のデータ転送で高いパフォーマンスを実現する、スケーラブルでシングルコアおよび並列実行可能な低ランクSVD近似アルゴリズムの開発。
• 特異値および特異ベクトルに対する反復的改善手法を適用することで、低ランク近似の誤差を低減すること。
• 同時に行方向および列方向のブロック分割を実施することで、任意の行列次元をサポートする柔軟なフレームワークの提供。

提案手法

• 行列を行方向および列方向の両方でブロックに分割し、任意サイズの行列に対する階層的処理を可能にする。
• 各ブロックに対して標準的なSVDルーチン（例：LAPACK）を用いて、最大の特異値および対応するベクトルのみを保持するように、切り捨てられたSVDを個別に計算する。
• 木構造ベースのマージ・トリンケート（MAT）戦略により、子ブロックの切り捨てられたSVDを、増分SVD技術を用いて親ブロックに再帰的に統合する。
• 各マージ後、閾値（マージパラメータγによって決定される）以下の特異値およびベクトルを切り捨てることで、低ランクを維持するとともに計算コストを削減する。
• 近似の精度を向上させるために、残差行列のSVDを再計算し、基底ベクトルを更新する反復的改善ステップを適用する。
• 行方向および列方向の両方の分割をサポートしており、アスペクト比にかかわらず効率的な行列処理が可能である。

実験結果

リサーチクエスチョン

• RQ1 シングルコア環境下でも、密で低ランクの行列に対して、階層的ブロックベースSVDアルゴリズムは、切り捨て付きフルSVDに比べて顕著な高速化を達成できるか？
• RQ2 ブロックサイズや行列タイプの違いが、本手法のパフォーマンスおよび精度に与える影響は何か？
• RQ3 特異ベクトルおよび特異値に対する反復的改善によって、近似誤差はどの程度低減できるか？
• RQ4 特異値がゆっくりと減少する行列（例：FACESデータセット）に適用した場合、本手法は高い精度と効率を維持できるか？
• RQ5 多様な行列構造にわたって、速度向上を最大化すると同時に誤差を最小化する最適なブロックサイズ設定は何か？

主な発見

• 速度データセットを用いた実験では、ブロックサイズが8192×64の場合、フルSVDに比べて最大約2倍の高速化を達成した。
• FACESデータセットでは、ブロックサイズが10304×100の場合、最後の2つの特異値の近似が不十分なため、誤差が最大5%に達した。
• テストされたデータセット全体で誤差は通常3%未満であり、最大の誤差は最小の特異値および特異ベクトルに集中している。
• 反復的改善により、最も重要な特異ベクトルおよび特異値の誤差が顕著に低減され、実際の左特異ベクトルと近似された左特異ベクトルのコサイン類似度が向上した。
• 列ごとのブロック数が目的のランクに近い場合、かつ行ごとのブロック数が大きい場合に、特に特異値が急激に減少する行列に対して、速度向上が顕著に現れた。
• CFDの速度および密度行列、ORL FACESデータセットを含む多様なデータタイプに対して、本手法は一貫したパフォーマンスと低誤差を示し、高い頑健性を示した。