[論文レビュー] The Singular Value Decomposition, Applications and Beyond

Zhihua Zhang|arXiv (Cornell University)|Oct 29, 2015

Sparse and Compressive Sensing Techniques参考文献 148被引用数 20

ひとこと要約

このチュートリアルは、特異値分解（SVD）の包括的な理論的および応用的概要を提示し、行列解析、低ランク近似、および現代の機械学習におけるその役割に焦点を当てる。ユニタリに不変なノルム、部分微分、および確率的アルゴリズム（特に確率的SVDとCUR分解）を導入し、行列次元に線形な時間で相対誤差保証付きに高品質な低ランク近似を計算できることを示している。

ABSTRACT

The singular value decomposition (SVD) is not only a classical theory in matrix computation and analysis, but also is a powerful tool in machine learning and modern data analysis. In this tutorial we first study the basic notion of SVD and then show the central role of SVD in matrices. Using majorization theory, we consider variational principles of singular values and eigenvalues. Built on SVD and a theory of symmetric gauge functions, we discuss unitarily invariant norms, which are then used to formulate general results for matrix low rank approximation. We study the subdifferentials of unitarily invariant norms. These results would be potentially useful in many machine learning problems such as matrix completion and matrix data classification. Finally, we discuss matrix low rank approximation and its recent developments such as randomized SVD, approximate matrix multiplication, CUR decomposition, and Nystrom approximation. Randomized algorithms are important approaches to large scale SVD as well as fast matrix computations.

研究の動機と目的

• SVD理論と行列およびデータ解析におけるその応用について体系的なチュートリアルを提供すること。
• 特に大規模データの文脈において、機械学習および理論的コンピュータ科学におけるSVDの最近の発展をレビューすること。
• ユニタリに不変なノルムとその部分微分の理論的基盤を確立し、より広範な最適化応用を可能にすること。
• データ構造とスパarsityを保持する、確率的SVDやCUR分解のような実用的でスケーラブルなアルゴリズムを提示すること。
• CUR分解が、実際のデータの列と行を用いて解釈可能で非負かつスパースな低ランク近似を実現できるようにすること。

提案手法

• 特異値および固有値の変分原理を導出するため、主要化理論と対称ギャージュ関数を用いる。
• 行列微分積分学を適用して、フォン・ノイマンの定理やキ・ファンの定理といった古典的結果を再導出する。
• 対称ギャージュ関数によるユニタリに不変なノルムの特徴付けと、最適化における機械学習への応用を目的としたその部分微分の導出。
• 大規模行列計算のための、フロベニウスノルムおよびスペクトルノルムの両方で理論的境界を保証する確率的SVDを提案する。
• スケッチ行列を用いて列と行をスケーリングしてサンプリングする実用的なCUR分解法を導入し、データアクセスを削減し、相対誤差境界を達成する。
• 射影最小二乗法による近似交差行列を用いる：$\tilde{\mathbf{U}} = (\mathbf{P}_C^T \mathbf{C})^\dagger (\mathbf{P}_C^T \mathbf{A} \mathbf{P}_R) (\mathbf{R}^T \mathbf{P}_R)^\dagger$。行列へのアクセスを制限した状態でフロベニウス誤差を最小化する。

実験結果

リサーチクエスチョン

• RQ1 SVDを体系的に用いて、疑似逆行列、プロクラステス解析、および部分空間法などの主要な行列概念を統合的に導出できるか？
• RQ2 特異値および固有値を支配する変分原理は何か？ そして、行列微分積分学を用いてどのように導出できるか？
• RQ3 ユニタリに不変なノルムとその部分微分は、どのように特徴付けられ、行列データを含む最適化問題に応用できるか？
• RQ4 確率的アルゴリズムは、計算コストとデータアクセスコストを削減しつつ、低ランク近似で相対誤差境界を達成できるか？
• RQ5 CUR分解は、SVDと同等の近似品質を達成しつつ、解釈可能性、スパarsity、非負性をどの程度保持できるか？

主な発見

• 確率的SVDは、高い確率でフロベニウスノルムおよびスペクトルノルムの両方で相対誤差境界を達成し、大規模行列計算を効率的に行える。
• 適応的サンプリングを用いたCUR分解は、$c, r = \mathcal{O}(k/\epsilon)$ のとき、期待値において $\|\mathbf{A} - \mathbf{C} \tilde{\mathbf{U}} \mathbf{R}\|_F^2 \leq (1+\epsilon) \min_{\mathbf{U}} \|\mathbf{A} - \mathbf{C} \mathbf{U} \mathbf{R}\|_F^2$ を満たす。
• 実用的なCURの変種は、$\mathbf{A}$ の $p_c \times p_r$ 要素へのアクセスに制限され、$p_c, p_r \geq \mathcal{O}(c \sqrt{\min\{m,n\}/\epsilon})$ のとき、高い確率で相対誤差を達成する。
• 交差行列 $\tilde{\mathbf{U}}$ は射影最小二乗法による解で計算され、効率的かつスケーラブルなCUR近似を可能にする。
• CUR分解は、元の行列のスパarsityと非負性を保持するため、SVDの抽象的な基底ベクトルとは対照的に、解釈可能で人間が読みやすい因子分解を実現できる。
• ユニタリに不変なノルムの部分微分に関する理論的結果は、機械学習における行列補完および分類問題の解決に基盤を提供する。