[論文レビュー] Krylov-Type Methods for Tensor Computations

Berkant Savas, Lars Eldén|arXiv (Cornell University)|May 5, 2010

Tensor decomposition and applications参考文献 23被引用数 5

ひとこと要約

本稿は、大規模かつスパースなテンソルの低ランク近似のための3つのクリロフ型手法——最小、最大、および縮約テンソル積クリロフ再帰——を導入する。最小クリロフ再帰が、マルチラインアーランク (p,q,r) のテンソルに対して最大 {p,q,r} 回の反復で正しいマルチラインアーリング部分空間を抽出することを証明し、スパーステンソル演算のみを用いて近似品質を向上させる最適化されたバージョンを提示する。

ABSTRACT

Several Krylov-type procedures are introduced that generalize matrix Krylov methods for tensor computations. They are denoted minimal Krylov recursion, maximal Krylov recursion, contracted tensor product Krylov recursion. It is proved that the for a given tensor with low rank, the minimal Krylov recursion extracts the correct subspaces associated to the tensor within certain number of iterations. An optimized minimal Krylov procedure is described that gives a better tensor approximation for a given multilinear rank than the standard minimal recursion. The maximal Krylov recursion naturally admits a Krylov factorization of the tensor. The tensor Krylov methods are intended for the computation of low-rank approximations of large and sparse tensors, but they are also useful for certain dense and structured tensors for computing their higher order singular value decompositions or obtaining starting points for the best low-rank computations of tensors. A set of numerical experiments, using real life and synthetic data sets, illustrate some of the properties of the tensor Krylov methods.

研究の動機と目的

• 情報科学分野の応用において生じる大規模かつスパースなテンソルの低ランク近似を計算するための効率的アルゴリズムの必要性に対処する。
• アーノルドやゴルーブ＝カーンの行列クリロフ法を一般化し、部分空間抽出や因子分解といった重要な性質を保ったままテンソル設定に拡張する。
• 低マルチラインアーリングランクを持つテンソル、特に密度的で構造的であるテンソルに対しても計算的に効率的で適した手法を開発する。
• 高次元特異値分解（HOSVD）の加速フレームワークを提供し、最良の低ランクテンソル近似問題に対する良好な初期値を生成する。
• 実データおよび合成スパーステンソルデータセットを用いた、テンソルクリロフ法の実行可能性と有効性を示す。

提案手法

• テンソル・マトリックス乗算とグラム・シュミット直交化を繰り返すことで、正規直交ベクトルを生成する最小クリロフ再帰を提案し、テンソルのマルチラインアーリングランクに関連する部分空間を抽出する。
• 行列クリロフ因子分解をテンソルに一般化し、構造的性質を保つテンソルクリロフ因子分解をもたらす最大クリロフ再帰を導入する。
• テンソルの縮約積に適用された行列ランチョス法の一般化として、縮約テンソル積クリロフ再帰を構築する。
• スパーステンソル演算のみを用いて部分空間選択プロセスを最適化することで、近似精度を向上させる最小クリロフ再帰の最適化版を実装する。
• テンソル・マトリックス乗算とテンソルの縮約を用いて、明示的な直交化を伴う反復的Krylov部分空間の生成を行い、数値的安定性を維持する。
• 両方のスパーステンソルおよび正準形式の密度的テンソルにこれらの手法を適用し、HOSVDの加速および低ランク近似における有効性を示す。

実験結果

リサーチクエスチョン

• RQ1 クリロフ部分空間法をテンソルに一般化することで、大規模かつスパースなテンソルの効率的低ランク近似が可能になるか？
• RQ2 特に、既知のマルチラインアーリングランクを持つテンソルにおける部分空間抽出という観点から、テンソルクリロフ法の理論的収束挙動はいかなるものか？
• RQ3 最小、最大、および縮約積の3つの異なるテンソルクリロフバージョンは、近似品質および計算効率の観点でどのように比較されるか？
• RQ4 テンソルクリロフ法は、HOSVDの前処理として、または最良の低ランクテンソル近似の出発点として効果的に使用できるか？
• RQ5 浮動小数点演算における数値的課題、例えば分解の検出や密度的基底ベクトルの発生は、どのようにテンソル文脈で緩和できるか？

主な発見

• 最小クリロフ再帰は、テンソルが X·Y·Z·C の形をしていると仮定すれば、マルチラインアーリングランク (p,q,r) のテンソルに対して最大 {p,q,r} 回の反復で正しいマルチラインアーリング部分空間を抽出する。
• 最小クリロフ再帰の最適化版は、標準バージョンよりも優れた低ランク近似を提供し、スパーステンソル演算のみを用いても精度が向上する。
• 最大クリロフ再帰は自然にテンソルクリロフ因子分解を許容し、行列アーノルド因子分解を一般化することができ、射影に基づく計算を可能にする。
• 合成および実世界のスパーステンソル（例：Netflixデータ）を用いた数値実験により、これらの手法が効果的かつスケーラブルであることが示され、非常に大規模でスパースなテンソルに対しても有効である。
• 縮約テンソル積クリロフ再帰は、縮約されたテンソル積に適用されたランチョス法に基づくものであり、競争力のある近似品質を達成し、対称テンソル構造に適している。
• 初期の低ランク射影によるコアテンソルのサイズ削減により、HOSVDの計算が顕著に高速化され、近似のための実用的利点を示している。