[論文レビュー] Sample-Optimal Low-Rank Approximation of Distance Matrices

Piotr Indyk, Ali Vakilian+2 more|arXiv (Cornell University)|Jun 2, 2019

Sparse and Compressive Sensing Techniques参考文献 13被引用数 11

ひとこと要約

本稿では、距離行列の低ランク近似に対して、入力行列のエントリを $O((n+m)k/\/epsilon)$ 個のみ読み込むサンプル最適なアルゴリズムを提示する。実行時間は $\tilde{O}(n+m)\cdot\mathrm{poly}(k,1/\epsilon)$ であり、Frobeniusノルムにおいて最良のランク-$k$ 近似に対して $\epsilon$-加法的近似を達成する。これは、サンプル複雑度に関する下界と一致しており、従来の手法よりも単純かつ効率的である。

ABSTRACT

A distance matrix $A \in \mathbb R^{n imes m}$ represents all pairwise distances, $A_{ij}=\mathrm{d}(x_i,y_j)$, between two point sets $x_1,...,x_n$ and $y_1,...,y_m$ in an arbitrary metric space $(\mathcal Z, \mathrm{d})$. Such matrices arise in various computational contexts such as learning image manifolds, handwriting recognition, and multi-dimensional unfolding. In this work we study algorithms for low-rank approximation of distance matrices. Recent work by Bakshi and Woodruff (NeurIPS 2018) showed it is possible to compute a rank-$k$ approximation of a distance matrix in time $O((n+m)^{1+γ}) \cdot \mathrm{poly}(k,1/ε)$, where $ε>0$ is an error parameter and $γ>0$ is an arbitrarily small constant. Notably, their bound is sublinear in the matrix size, which is unachievable for general matrices. We present an algorithm that is both simpler and more efficient. It reads only $O((n+m) k/ε)$ entries of the input matrix, and has a running time of $O(n+m) \cdot \mathrm{poly}(k,1/ε)$. We complement the sample complexity of our algorithm with a matching lower bound on the number of entries that must be read by any algorithm. We provide experimental results to validate the approximation quality and running time of our algorithm.

研究の動機と目的

• 距離行列の低ランク近似のための、より高速で単純なアルゴリズムの設計。距離行列は機械学習やデータ解析で一般的に現れる。
• 行列の次元 $n$ および $m$ に対して、サブラインアーリングのサンプル複雑度を達成すること。これは一般の行列では達成不可能である。
• 読み込むエントリ数の理論的下界を一致させることで、サンプル最適性を確立すること。
• 近似品質および実行時間の理論的保証と、実験的検証の両方を提供すること。

提案手法

• アルゴリズムは、メトリック空間の構造を活用して、距離行列から $O((n+m)k/\epsilon)$ 個のエントリを確率的サンプリングで選択する。
• Frieze-Kannan-Vempalaフレームワークの変種を適用し、$\tilde{O}(n+m)\cdot\mathrm{poly}(k,1/\epsilon)$ の実行時間で低ランク近似を計算する。
• Frobeniusノルムの誤差が、高確率で $\|A - VU\|_F^2 \leq \|A - A_k\|_F^2 + \epsilon\|A\|_F^2$ を満たすことを保証する。
• 正規直交行列の射影と特異値分解技術を用いて、サンプリング下でも近似品質を維持する。
• アルゴリズムは適応的かつ確率的であり、近似誤差とサンプル複雑度に関する理論的保証を有する。
• 理論的分析は、特異値の上限評価とトレース不等式を用いて、行列部分空間の関係を導く。

実験結果

リサーチクエスチョン

• RQ1 距離行列の低ランク近似は、$n+m$ に対してサブラインアーリングのサンプル複雑度かつ $k$ と $\epsilon$ に対して最適な複雑度で計算可能か？
• RQ2 従来の手法よりも単純かつ効率的なアルゴリズムを、距離行列の低ランク近似のために設計可能か？
• RQ3 $\epsilon$-近似の低ランク解を得るために読み込む必要があるエントリ数の情報理論的下界は何か？
• RQ4 サンプル複雑度が、一致する下界によってタイトであることが証明可能か？
• RQ5 SVDに基づく手法と比較して、実行時間を大幅に短縮しつつも、高い近似品質を維持できるか？

主な発見

• 提案されたアルゴリズムは、入力距離行列のエントリをたった $O((n+m)k/\epsilon)$ 個しか読み込まず、サンプル最適性を達成する。
• 実行時間は $\tilde{O}(n+m)\cdot\mathrm{poly}(k,1/\epsilon)$ であり、従来の手法に比べて顕著に向上している。
• 確率 0.99 で、Frobeniusノルムにおいて最良のランク-$k$ 近似に対して $\epsilon$-加法的近似を達成する。
• 任意の確率的アルゴリズムに対して、$\Omega((n+m)k/\epsilon)$ 個のエントリが必要であるという一致する下界が証明され、サンプル最適性が確立された。
• 実験結果から、アルゴリズムの高い近似品質と、既存手法よりも速い実行時間が確認された。
• 理論的分析には、特異値のタイトな評価と行列部分空間の整合性に関する評価が含まれており、サンプリング下でも堅牢な近似を保証する。