[論文レビュー] Computing low-rank approximations of large-scale matrices with the Tensor Network randomized SVD

Kim Batselier, Wenjian Yu+2 more|arXiv (Cornell University)|Jul 25, 2017

Tensor decomposition and applications参考文献 19被引用数 3

ひとこと要約

本稿では、行列積演算子（MPO）形式に格納された大規模行列の低ランク近似を高速かつ高精度に計算するための、テンソルネットワークに基づくランダム化SVD（TNrSVD）アルゴリズムを提案する。この手法は、最先端のALS-SVDおよびMALS-SVD手法と比較して最大17倍の高速化を達成しながら、機械精度の正確さを維持しており、また、スパース行列のMPO変換を509倍高速化する、新たな行列からMPOへの変換アルゴリズムも提案している。

ABSTRACT

We propose a new algorithm for the computation of a singular value decomposition (SVD) low-rank approximation of a matrix in the Matrix Product Operator (MPO) format, also called the Tensor Train Matrix format. Our tensor network randomized SVD (TNrSVD) algorithm is an MPO implementation of the randomized SVD algorithm that is able to compute dominant singular values and their corresponding singular vectors. In contrast to the state-of-the-art tensor-based alternating least squares SVD (ALS-SVD) and modified alternating least squares SVD (MALS-SVD) matrix approximation methods, TNrSVD can be up to 17 times faster while achieving the same accuracy. In addition, our TNrSVD algorithm also produces accurate approximations in particular cases where both ALS-SVD and MALS-SVD fail to converge. We also propose a new algorithm for the fast conversion of a sparse matrix into its corresponding MPO form, which is up to 509 times faster than the standard Tensor Train SVD (TT-SVD) method while achieving machine precision accuracy. The efficiency and accuracy of both algorithms are demonstrated in numerical experiments.

研究の動機と目的

• MPO形式に格納された大規模行列に対する低ランク近似の計算ボトルネックを解消すること。
• ALS-SVDやMALS-SVDなどの既存のテンソルベースSVD手法が、特定の状況で収束不能となる問題を克服すること。
• スパース行列のための高速で正確かつスケーラブルな行列からMPOへの変換アルゴリズムを開発すること。
• ランダム化SVD技術をテンソルネットワークフレームワークに統合し、性能を向上させること。

提案手法

• 行列積演算子（MPO）形式に表現された行列を対象とした、テンソルネットワーク構造を活用したカスタマイズされたランダム化SVDアルゴリズムを提案する。
• ランダム化SVDフレームワークをMPO表現上で直接動作可能に改造し、行列の完全な展開を回避する。
• パワー反復法とランダム射影を用いて、MPO形式で支配的固有値および固有ベクトルを効率的に抽出する。
• ランクを明らかにするQR分解とテンソルトレインの丸め処理を組み合わせた、新たな行列からMPOへの変換アルゴリズムを提案し、機械精度を達成する。
• 変換の前段階でCuthill-McKee順序付けを適用し、MPOランクを低減することで効率性を向上させる。
• 近似誤差を制御しつつ正確性を保持するため、適応的許容誤差を用いた丸め手順を実装する。

実験結果

リサーチクエスチョン

• RQ1 MPO形式に表現された行列に対して、ランダム化SVDアルゴリズムをテンソルネットワークフレームワークに効果的に適合させることで、計算速度の向上が図れるか？
• RQ2 大規模行列において、提案されたTNrSVDの性能は、ALS-SVDおよびMALS-SVDと比較して、速度と正確性の面でどのように差がつくか？
• RQ3 新規の行列からMPOへの変換アルゴリズムは、TT-SVDなどの既存手法と比較して著しく高速でありながら、機械精度の正確さを達成できるか？
• RQ4 ALS-SVDおよびMALS-SVDが収束に失敗する状況において、TNrSVDは依然として正確な低ランク近似を生成できるか？
• RQ5 行列の順序付け戦略が、得られるMPOランクおよび計算効率に与える影響は何か？

主な発見

• TNrSVDアルゴリズムは、$2^N \times 2^N$行列を用いた実験で、MALS-SVDと同等の正確さを維持しながら最大17倍の高速化を達成した。
• 指定された固有値を持つランダム行列のランク50近似において、TNrSVDはMALS-SVDの17倍、ALS-SVDの5倍高速であった。
• 提案された行列からMPOへの変換アルゴリズムは、標準的なTT-SVD手法と比較して最大509倍高速であり、機械精度の正確さを達成した。
• ALS-SVDおよびMALS-SVDが収束に失敗する高次元行列においても、TNrSVDは正確な低ランク近似を効果的に計算できた。
• 標準的な行列実装によるランダム化SVDは$N=15$を超えるとメモリ制限により失敗するが、すべてのテンソルベース手法（TNrSVDを含む）は$N=50$までスケーラブルに動作した。
• TNrSVDにおける適応的丸め許容誤差の使用により、ランク50近似において推定固有値の相対誤差が$10^{-6}$未満に保たれた。