[論文レビュー] Very Large-Scale Singular Value Decomposition Using Tensor Train Networks

Namgil Lee, Andrzej Cichocki|arXiv (Cornell University)|Oct 25, 2014

Tensor decomposition and applications参考文献 33被引用数 14

ひとこと要約

本稿では、テンソルトレイン（TT）形式を用いて、非常に大規模な行列の主要な特異値および特異ベクトルを計算するためのALS-SVDおよびMALS-SVDアルゴリズムを提案する。行列と特異ベクトルを低ランクTT分解で表現することで、大規模なSVD問題を行列サイズの対数的複雑性を有する逐次的小規模最適化問題に還元し、標準的なデスクトップコンピュータ上でも$2^{50} \times 2^{50}$の行列に対して高い精度で効率的なSVD計算を可能にする。

ABSTRACT

We propose new algorithms for singular value decomposition (SVD) of very large-scale matrices based on a low-rank tensor approximation technique called the tensor train (TT) format. The proposed algorithms can compute several dominant singular values and corresponding singular vectors for large-scale structured matrices given in a TT format. The computational complexity of the proposed methods scales logarithmically with the matrix size under the assumption that both the matrix and the singular vectors admit low-rank TT decompositions. The proposed methods, which are called the alternating least squares for SVD (ALS-SVD) and modified alternating least squares for SVD (MALS-SVD), compute the left and right singular vectors approximately through block TT decompositions. The very large-scale optimization problem is reduced to sequential small-scale optimization problems, and each core tensor of the block TT decompositions can be updated by applying any standard optimization methods. The optimal ranks of the block TT decompositions are determined adaptively during iteration process, so that we can achieve high approximation accuracy. Extensive numerical simulations are conducted for several types of TT-structured matrices such as Hilbert matrix, Toeplitz matrix, random matrix with prescribed singular values, and tridiagonal matrix. The simulation results demonstrate the effectiveness of the proposed methods compared with standard SVD algorithms and TT-based algorithms developed for symmetric eigenvalue decomposition.

研究の動機と目的

• 構造的行列の大きなスケール特異値分解（SVD）における次元の呪いを克服すること。
• 標準的なSVDでは指数的複雑性のため実行不可能な非常に大規模な行列のための効率的なSVDアルゴリズムを開発すること。
• テンソルトレイン（TT）形式による低ランクテンソル近似を用いて、主要な特異値および特異ベクトルの計算を可能にすること。
• 従来のTTベースの固有値分解（EVD）手法の制限を克服し、直接的にSVDのトレース最大化問題を最適化すること。
• 反復処理中にTTランクを適応的に決定し、効率的なランク切断を用いることで、高い精度とスケーラビリティを達成すること。

提案手法

• 大規模な構造的行列およびその特異ベクトルを、低パラメータでスケーラブルな計算を可能にするテンソルトレイン（TT）形式で表現する。
• SVD問題を、正規直交行列UとVの上でのトレース最大化問題として定式化する。式は$\text{trace}(\mathbf{U}^T \mathbf{A} \mathbf{V})$であり、制約条件は$\mathbf{U}^T\mathbf{U} = \mathbf{V}^T\mathbf{V} = \mathbf{I}_K$である。
• 逐次的にUとVのブロックを最適化するため、反復的最小二乗法（ALS）および修正版ALS（MALS）を適用し、EIGSなどの標準的なソルバーを用いて小規模な部分問題を解く。
• 反復処理中に適応的ランク切断を実施し、TTランクを低く保ちながら計算コストを制御する。切断パラメータ$\delta$は収束性と精度に合わせて調整される。
• TT固有のアルゴリズムを用いてテンソル結合を効率的に実行し、ランクの増大を最小限に抑え、行列サイズに対して対数的複雑性を維持する。
• TTランクが固定された場合、$\delta$-切断SVDをQR分解に置き換えることで計算コストを低減する。

実験結果

リサーチクエスチョン

• RQ1 大規模な構造的行列のSVDは、テンソルトレイン（TT）分解を用いて効率的に計算可能か？
• RQ2 TTランクが有界な条件下で、TTベースのSVDの計算複雑性は行列サイズに対してどのようにスケーリングされるか？
• RQ3 SVDのトレース最大化問題を直接最適化することで、EVDベースのTT手法に比べて精度と効率性が向上するか？
• RQ4 適応的TTランク選択と切断処理は収束性と近似精度にどのように影響するか？
• RQ5 ヒルベルト行列、トーペリッツ行列、三重対角行列、および所定の特異値を持つランダム行列に対して、提案手法の性能はいかがなものか？

主な発見

• 提案されたALS-SVDおよびMALS-SVDアルゴリズムは、TTランクが有界な条件下で行列サイズに対して対数的複雑性を達成し、標準デスクトップコンピュータ上でも$2^{50} \times 2^{50}$行列のSVDを数秒で実行可能である。
• MALS-SVDは反復処理中のTTランク適応がより効率的であるため、ALS-SVDよりも収束が速い。
• 無限大のTTランクを持つランダムなトーペリッツ行列に対しても、固定TTランクと制御された切断を用いることで、依然として高精度な近似が得られる。
• 切断パラメータ$\delta$の選定は収束に大きく影響する：大きすぎると局所最適解に陥りやすく、小さすぎるとランクの急激な増大と計算コストの増加を引き起こす。
• $\delta_0 = \epsilon / \sqrt{N-1}$の設定では、通常3回のフルスイープ以内に望みの精度に収束し、再起動により局所最適解からの脱出が可能である。
• 特に行列のTTランクが高い場合に、EVDベースのTTアルゴリズムに比べて、精度と計算効率の両面で本手法が優れている。