[論文レビュー] Low Rank Matrix Approximation in Linear Time

Sariel Har-Peled|arXiv (Cornell University)|Oct 31, 2014

Sparse and Compressive Sensing Techniques参考文献 8被引用数 12

ひとこと要約

この論文は、フロベニウスノルムの下で乗法的$(1+\varepsilon)$-近似保証を持つ、低ランク行列近似の最初の線形時間アルゴリズムを提示する。幾何的アプローチに基づき、確率的サンプリングと再帰的精錬を用いる：小さな確率的サンプルが多数の点を近似する平坦を生成し、外れ値はフィルタリングされ再帰的に処理され、最終的な解はFriezeらおよびDeshpandeらの手法を用いて統合・最適化される。

ABSTRACT

$ ewcommand{\MatA}{\mathcal{M}}$ $ ewcommand{\eps}{\varepsilon}$ $ ewcommand{\NSize}{\mathsf{N}{}}$ $ ewcommand{\MatB}{\mathcal{B}}$ $ ewcommand{\Fnorm}[1]{\left\| {#1} ight\|_F}$ $ ewcommand{\PrcOpt}[2]{μ_{\mathrm{opt}}\pth{#1, #2}}$ $ ewcommand{\pth}[1]{\left(#1 ight)}$ Given a matrix $\MatA$ with $n$ rows and $d$ columns, and fixed $k$ and $\eps$, we present an algorithm that in linear time (i.e., $O(\NSize )$) computes a $k$-rank matrix $\MatB$ with approximation error $\Fnorm{\MatA - \MatB}^2 \leq (1+\eps) \PrcOpt{\MatA}{k}$, where $\NSize = n d$ is the input size, and $\PrcOpt{\MatA}{k}$ is the minimum error of a $k$-rank approximation to $\MatA$. This algorithm succeeds with constant probability, and to our knowledge it is the first linear-time algorithm to achieve multiplicative approximation.

研究の動機と目的

• 線形時間で乗法的$(1+\varepsilon)$-近似を達成するという長年の未解決問題に取り組む。
• 従来の手法が加法的誤差項を含むか、特に大規模な行列に対して線形時間より遅いという制限を克服する。
• 低ランク近似を、$\mathbb{R}^d$ 内の点集合に対する距離の二乗和を最小化する$k$-フラットを見つけることとして幾何的解釈を提供する。
• 入力サイズ$\mathsf{N}{} = nd$に対して、高確率かつ一定の信頼度で$O(\mathsf{N}{}k^2\log k)$の実行時間を達成する。
• I/O効率が良く、大規模またはスパース行列に適した方法を提供し、スパースの場合に非線形時間性能を達成する。

提案手法

• 行列$\mathcal{M}$を、各行が$\mathbb{R}^d$ 内の点に対応する$n$個の点からなる点集合$P$に変換する。
• サイズ$O(k^2 \log(k/\delta))$のランダムサブセット$\mathcal{R}$をサンプリングして初期の$k$-フラット$\mathcal{F}$を構築し、$\varepsilon$-ネットおよびVC次元の議論により、多数の点を近似する。
• 距離が$\sqrt{96k^2 \cdot \mu_{\text{opt}}(P,k)}$を超える点を外れ値$X$と定義する。
• 外れ値集合$X$に対して再帰的に処理を行い、同じアルゴリズムを用いて$X$をよく近似する$k$-フラット$\mathcal{G}$を計算する（サイズが小さくなったため）。
• $\mathcal{F}$と$\mathcal{G}$を統合してより高次元のフラット$\text{span}(\mathcal{F} \cup \mathcal{G})$を構築し、その後、既知のアルゴリズム（補題2.5）を適用して、全体の点集合を$1+\varepsilon$の最適値以内に近似する$k$-フラット$\mathcal{I}$を抽出する。
• FriezeらおよびDeshpandeらの手法で用いられるパワー法とサンプリング技術を用いて、最終的な近似が最適フロベニウス誤差の$1+\varepsilon$以内にあることを保証する。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列近似に対して、乗法的$(1+\varepsilon)$-近似を線形時間で計算することは可能か？
• RQ2 確率的サンプリングと再帰的外れ値検出に基づく幾何的アプローチを用いて、このような近似を達成することは可能か？
• RQ3 線形時間複雑度を達成するための、データへの最小のパス数は何か？
• RQ4 代替的な幾何的または確率的議論を用いて、既存のサンプリング補題のボトルネックを克服できるか？
• RQ5 このアルゴリズムはスパース行列に対してどのように動作するか？非ゼロ要素数に対して非線形時間性能を達成できるか？

主な発見

• アルゴリズムは、確率が$1-\delta$以上で、$\|\mathcal{M} - \mathcal{B}\|_F^2 \leq (1+\varepsilon)\mu_{\text{opt}}(\mathcal{M},k)$を満たす$k$-ランク行列$\mathcal{B}$を計算する。
• 実行時間は$O(\mathsf{N}{}k(\varepsilon^{-1} + k)\log(k/(\varepsilon\delta)))$であり、$\mathsf{N}{} = nd$は入力サイズであり、$k$と$\varepsilon$が固定のとき$\mathsf{N}{}$に関して線形となる。
• $k^2 \log(k/\delta) \geq d$のとき、アルゴリズムは標準的なSVDに滑らかに劣化し、この領域ではより効率的である。
• アルゴリズムはI/O効率が良く、反復回数$I$が小さい場合、スパース行列に対して非線形時間で実行される。
• 主な技術的洞察は、サイズ$O(k^2 \log k)$のランダムサンプルが、多数の点を近似するフラットを生成することであり、外れ値の数は再帰処理に耐えるほど少ない。
• 最終的な近似誤差は$\sqrt{(1+\varepsilon)\mu_{\text{opt}}(P,k)}$で抑えられ、これは$\|\mathcal{M} - \mathcal{B}\|_F \leq (1+\varepsilon)\min_{\text{rank}(\mathcal{C})=k}\|\mathcal{M} - \mathcal{C}\|_F$を意味する。