[論文レビュー] Efficient Alternating Least Squares Algorithms for Truncated HOSVD of Higher-Order Tensors.

Chuanfu Xiao, Chao Yang+1 more|arXiv (Cornell University)|Apr 6, 2020

Tensor decomposition and applications被引用数 2

ひとこと要約

本稿では、大規模テンソルの切り捨てられた高階特異値分解（HOSVD）のための、新しい交替最小二乗法（ALS）に基づくアルゴリズムを提案する。中間データの爆発を効率的な特異ベクトルの計算によって回避し、q線形収束を達成する。本手法は本質的に並列処理可能であり、合成的および実世界のテンソル応用において計算コストを顕著に低減する。

ABSTRACT

The truncated Tucker decomposition, also known as the truncated higher-order singular value decomposition (HOSVD), has been extensively utilized as an efficient tool in many applications. Popular direct methods for truncated HOSVD often suffer from the notorious intermediate data explosion issue, especially for large-scale tensors, and are usually not easy to parallelize. In this paper, we propose a class of new truncated HOSVD algorithms based on alternating least squares (ALS). The proposed ALS-based approaches are able to eliminate the redundant computations of the singular vectors of intermediate matrices and are therefore free of data explosion. Also, the new methods are more flexible with adjustable convergence tolerance and are intrinsically parallelizable on high-performance computers. Theoretical analysis reveals that the ALS iteration in the proposed algorithms is q-linear convergent with a relatively wide convergence region. Numerical experiments with large-scale tensors from both synthetic and real-world applications demonstrate that ALS-based methods can substantially reduce the total cost of the original ones and are highly scalable for parallel computing.

研究の動機と目的

• 大規模テンソルの切り捨てられたHOSVDのための従来の直接的手法における中間データの爆発問題に対処する。
• テンソル分解のための並列処理が不可能でかつ計算コストの高い直接的手法の制限を克服する。
• 収束許容誤差を調整可能な柔軟性・スケーラビリティ・効率性を備えた、従来のHOSVD計算手法の代替手段を構築する。
• 提案手法の本質的並列性を活かして、ハイパフォーマンスコンピューティングの支援を可能にする。

提案手法

• 切り捨てられたHOSVDを、交替最小二乗法（ALS）反復によって解く最適化問題として定式化する。
• SVDを用いた低ランク部分問題の反復的解法により、コアテンソルおよび因子行列を計算し、完全な中間行列の保存を回避する。
• 各ステップでランクの切り捨てを適用することで、データの爆発を防ぎ、計算効率を維持する。
• 理論的分析により、広い収束領域を持つq線形収束の挙動を保証することで収束を確保する。
• 各モードにおける因子行列の計算を分離することで、本質的に並列処理可能なアルゴリズムを設計する。
• 実用的応用において精度と計算コストのバランスを取るために、調整可能な収束許容誤差を導入する。

実験結果

リサーチクエスチョン

• RQ1 ALSベースの手法は、大規模テンソルの直接的HOSVD計算において一般的な中間データの爆発を回避できるか？
• RQ2 提案されたALSベースのHOSVDアルゴリズムの収束特性は、従来手法と比較して収束速度および安定性の面でどのように異なるか？
• RQ3 本手法はハイパフォーマンスコンピューティング環境において、どの程度並列処理可能か？
• RQ4 ALSベースのアプローチは、従来の直接的手法と比較して、計算コストをどの程度低減できるか？
• RQ5 本アルゴリズムは合成的および実世界の大規模テンソルデータセットにおいて、どのように性能を発揮するか？

主な発見

• 効率的な計算と特異ベクトルの切り捨てにより、提案されたALSベースのHOSVDアルゴリズムは中間データの爆発が生じない。
• ALS反復はq線形収束を示し、比較的広い収束領域を持つため、収束が強固で安定している。
• 大規模テンソルにおいて、従来の直接的手法と比較して、合計計算コストが顕著に低減される。
• テンソルの各モードにおける本質的並列性のおかげで、並列処理に非常にスケーラブルである。
• 数値実験により、合成的および実世界のテンソルデータセットにおいて本手法の有効性が確認され、優れた性能と効率性を示した。