[論文レビュー] Sublinear Time Low-Rank Approximation of Distance Matrices

Ainesh Bakshi, David P. Woodruff|arXiv (Cornell University)|Sep 19, 2018

Blind Source Separation Techniques参考文献 17被引用数 10

ひとこと要約

本稿では、任意の距離空間における距離行列の低ランク近似のためのサブリニア時間アルゴリズムを提示する。三角不等式およびユークリッド距離行列の性質を活用し、サブリニア時間で加法的誤差保証を達成するとともに、二乗ユークリッド距離に対しては相対誤差バイクリテリア解を得る。これは再帰的サンプリングと射影コスト保存性を活用したサブリニアなPSD行列近似に基づく。

ABSTRACT

Let $\mathbf{P}=\{ p_1, p_2, \ldots p_n \}$ and $\mathbf{Q} = \{ q_1, q_2 \ldots q_m \}$ be two point sets in an arbitrary metric space. Let $\mathbf{A}$ represent the $m imes n$ pairwise distance matrix with $\mathbf{A}_{i,j} = d(p_i, q_j)$. Such distance matrices are commonly computed in software packages and have applications to learning image manifolds, handwriting recognition, and multi-dimensional unfolding, among other things. In an attempt to reduce their description size, we study low rank approximation of such matrices. Our main result is to show that for any underlying distance metric $d$, it is possible to achieve an additive error low-rank approximation in sublinear time. We note that it is provably impossible to achieve such a guarantee in sublinear time for arbitrary matrices $\mathbf{A}$, and consequently our proof exploits special properties of distance matrices. We develop a recursive algorithm based on additive projection-cost preserving sampling. We then show that in general, relative error approximation in sublinear time is impossible for distance matrices, even if one allows for bicriteria solutions. Additionally, we show that if $\mathbf{P} = \mathbf{Q}$ and $d$ is the squared Euclidean distance, which is not a metric but rather the square of a metric, then a relative error bicriteria solution can be found in sublinear time.

研究の動機と目的

• 任意の距離空間における対象間距離からなる距離行列の低ランク近似のためのサブリニア時間アルゴリズムの開発。
• 一般の距離行列に対して、サブリニア時間で相対誤差近似が可能かどうかの特定。
• 特に二乗ユークリッド距離に対して、相対誤差バイクリテリア解をサブリニア時間で計算可能な条件の探索。
• 三角不等式やPSD成分への分解といった距離行列の構造的性質を活用し、一般行列に対する$ tilde{ tilde{O}}(mn)$の下界を回避する方法の特定。

提案手法

• アルゴリズムは、加法的射影コスト保存性に基づくサンプリングを用い、距離行列の行と列を再帰的にサンプリングすることで、誤差境界の維持を保証する。
• 二乗ユークリッド距離の場合、行列は三つの成分に分解される：$\mathbf{A}_1$、$\mathbf{A}_2$、および$\mathbf{B}$、ここで$\mathbf{B}$は正定値行列（PSD）である。
• この方法では、Musco-Woodruffアルゴリズムを用いて、PSD成分$\mathbf{B}$のサブリニア時間低ランク近似をシミュレートする。このアルゴリズムは$O(n \cdot \mathrm{poly}(k/\epsilon))$時間で実行される。
• サンプリングされた列の正規直交基底$\mathbf{V}$を計算し、さらに二つのベクトル$\mathbf{a}_1, \mathbf{a}_2$を追加して、ランク-$(k+4)$の射影行列$\mathbf{W}\mathbf{W}^T$を構築する。
• 近似誤差は、Frobeniusノルムの残差をPSD成分$\mathbf{B}$の近似誤差に関連付けることで境界化される。その際、恒等式$\|\mathbf{A} - \mathbf{A}\mathbf{W}\mathbf{W}^T\|_F \leq 2\|\mathbf{B}(\mathbb{I} - \mathbf{W}\mathbf{W}^T)\|_F$を用いる。
• このアプローチにより、得られるランク-$(k+4)$近似は相対誤差保証を満たすことが保証される：$\|\mathbf{A} - \mathbf{A}\mathbf{W}\mathbf{W}^T\|_F \leq (1+\epsilon)\|\mathbf{A} - \mathbf{A}_k\|_F$。

実験結果

リサーチクエスチョン

• RQ1 距離行列の加法的誤差低ランク近似をサブリニア時間で計算可能か？
• RQ2 一般の距離行列に対して、サブリニア時間で相対誤差低ランク近似が可能か？
• RQ3 距離行列に対して、どのような条件下で相対誤差バイクリテリア解をサブリニア時間で計算可能か？
• RQ4 三角不等式やPSD成分への分解といった距離行列の構造的性質は、どのようにサブリニア近似を可能にするか？

主な発見

• 本稿では、任意の距離空間における任意の距離行列の加法的誤差低ランク近似が、サブリニア時間$O(n \cdot \mathrm{poly}(k/\epsilon))$で計算可能であることを確立した。
• 一般の距離行列に対しては、サブリニア時間で相対誤差近似が可能であることは、すなわち、バイクリテリア緩和を含めても、証明的に不可能である。
• 距離が二乗ユークリッド距離であり、$\mathcal{P} = \mathcal{Q}$である場合、行列を$\mathbf{A}_1 + \mathbf{A}_2 - 2\mathbf{B}$に分解することで、相対誤差バイクリテリア解をサブリニア時間で計算可能である。ここで$\mathbf{B}$はPSD行列である。
• アルゴリズムはランク-$(k+4)$近似を達成し、高確率で$\|\mathbf{A} - \mathbf{A}\mathbf{W}\mathbf{W}^T\|_F \leq (1+\epsilon)\|\mathbf{A} - \mathbf{A}_k\|_F$を満たす。
• この手法は、距離行列へのランダムアクセスに加え、$n-1$個の追加エントリのみを用いて、$\mathbf{B}$のサブリニアPSD低ランク近似をシミュレートすることに依存している。