[論文レビュー] Tutorial: Complexity analysis of Singular Value Decomposition and its variants

Xiaocan Li, Shuo Wang+1 more|arXiv (Cornell University)|Jun 28, 2019

Blind Source Separation Techniques参考文献 22被引用数 46

ひとこと要約

この論文は正則 SVD、切り捨て SVD、Krylov 法、および Randomized PCA を時間と空間計算量の観点から比較し、全ての固有対を必要とする場合には切り捨て SVD が最速であることを示す。PCA と SVD の関係を結びつけ、ランダム化／Krylov 法が有効となる場面を分析する。

ABSTRACT

We compared the regular Singular Value Decomposition (SVD), truncated SVD, Krylov method and Randomized PCA, in terms of time and space complexity. It is well-known that Krylov method and Randomized PCA only performs well when k << n, i.e. the number of eigenpair needed is far less than that of matrix size. We compared them for calculating all the eigenpairs. We also discussed the relationship between Principal Component Analysis and SVD.

研究の動機と目的

• 大規模行列のためのスケーラブルな SVD バリアントの研究を動機づける。
• PCA と SVD の関係性と、次元削減の観点での重要性を説明する。
• Krylov、Randomized PCA、切り捨て SVD の時間・空間計算量の詳細な分析を提供する。
• 合成データと MNIST を用いた実証的比較により理論的洞察を検証する。

提案手法

• SVD の基礎を導出し、共分散の性質を通じて PCA へ接続する。
• 切り捨て SVD を、A^T A を用いて大きな AA^T を避け、U を再構成する形で説明する。
• Krylov、Randomized PCA、切り捨て SVD の FLOP ベースの時間計算量の導出を詳述する。
• 各手法の実用的なメモリ推定を含む、空間計算量の詳しい導出を提示する。
• 合比較表で結果を要約し、synthetic data および MNIST の実験で理論的洞察を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 すべての固有対が必要な場合、どの SVD 変種が最も時間効率が高いか？
• RQ2 m >> n のとき、Krylov、Randomized PCA、切り捨て SVD の時間・空間計算量はどうスケールするか？
• RQ3 大規模データ（例：MNIST）におけるこれらの方法の実務的なメモリトレードオフはどうなるか？
• RQ4 合成データと実データセットで、実行時間とメモリ使用量の観点で方法はどのように比較されるか？

主な発見

• 切り捨て SVD は全固有対が必要な場合に最速である（k = n）。
• Krylov 法は分析対象の三つのアプローチの中で一般に最も多くのメモリを消費する。
• Randomized PCA は中程度のメモリ使用量を示し、部分集合 k << n が必要な場合に有利な性能を発揮する。
• 大きな m >> n の場合、全固有対計算において漸近的な時間コストは切り捨て SVD を Krylov および Randomized PCA よりも有利にする。
• MNIST の実験では、全 PCA において切り捨て SVD が実行時間とメモリの両方で Krylov および Randomized PCA より優れている。
• この研究は、直交分解を用いた場合の投影基底（U と V）に関して PCA と SVD の同等性を強調する。