[論文レビュー] How to Fake Multiply by a Gaussian Matrix

Michael Kapralov, Vamsi K. Potluru+1 more|arXiv (Cornell University)|Jun 18, 2016

Face and Expression Recognition参考文献 25被引用数 4

ひとこと要約

この論文は、密なガウス行列による乗算を効率的に模倣するランダム化行列変換CountGaussを導入する。CountSketch行列とガウス行列の合成により、合計変動距離が任意にゼロに近くなる$O(\mathrm{nnz}(X)) + \tilde{O}(m^2 d^3)$の時間計算量を実現し、理論的保証が不可欠なNMFやSVMのような応用に適している。

ABSTRACT

Have you ever wanted to multiply an $n imes d$ matrix $X$, with $n \gg d$, on the left by an $m imes n$ matrix $ ilde G$ of i.i.d. Gaussian random variables, but could not afford to do it because it was too slow? In this work we propose a new randomized $m imes n$ matrix $T$, for which one can compute $T \cdot X$ in only $O( ext{nnz}(X)) + ilde O(m^2 \cdot d^{3})$ time, for which the total variation distance between the distributions $T \cdot X$ and $ ilde G \cdot X$ is as small as desired, i.e., less than any positive constant. Here $ ext{nnz}(X)$ denotes the number of non-zero entries of $X$. Assuming $ ext{nnz}(X) \gg m^2 \cdot d^{3}$, this is a significant savings over the naïve $O( ext{nnz}(X) m)$ time to compute $ ilde G \cdot X$. Moreover, since the total variation distance is small, we can provably use $T \cdot X$ in place of $ ilde G \cdot X$ in any application and have the same guarantees as if we were using $ ilde G \cdot X$, up to a small positive constant in error probability. We apply this transform to nonnegative matrix factorization (NMF) and support vector machines (SVM).

研究の動機と目的

• 高次元データ応用における大規模行列と密なガウス行列の乗算の計算非効率性を解消すること。
• 計算時間を大幅に削減する一方で、ガウス行列乗算の統計的性質を模倣する変換を開発すること。
• 非負値行列分解（NMF）やサポートベクターマシン（SVM）のような機械学習ワークロードにおけるガウスに類似した射影の実用的利用を可能にすること。
• 回転対称性を保たない、またはスパースなベクトルを効果的に分散させない既存の高速変換（例：CountSketch、高速ハダマード変換）の限界を克服すること。

提案手法

• CountSketch行列$S$とガウス行列$G$の積としてCountGaussを提案する。すなわち$T = G \cdot S$。
• 入力次元を$n$から$B$に低減するために、$B = \tilde{O}(d^2 m)$行のCountSketch行列$S$を用い、$S \cdot X$の計算を$O(\mathrm{nnz}(X))$時間で高速化する。
• $G \cdot (S \cdot X)$の計算を$\tilde{O}(m^2 d^3)$時間で行い、$G$が$m \times B$で$S \cdot X$が$B \times d$であることに基づく。
• $T \cdot X = G \cdot S \cdot X$の分布が、$\tilde{G} \cdot X$の分布と統計的に近いことを証明し、合計変動距離が任意の正定数未満であることを示す。
• スペクトルおよび集中不等式を用いて、$\|E\|_2$が小さいことを示し、$E = V^T R R^T V - V^T V$と定義することで、射影空間における歪みが小さいことを保証する。
• NMFおよびSVMにこの変換を適用し、理論的保証を維持しながらも、実行時間を顕著に改善できることを示す。

実験結果

リサーチクエスチョン

• RQ1 密なガウス行列による乗算を統計的に模倣する高速な行列変換を構築できるか？
• RQ2 CountSketchとガウス行列の合成が、NMFやSVMのような応用に必要な分布的性質を保持できるか？
• RQ3 標準的なガウス射影と比較して、この変換が計算コストを低く抑えつつ高い統計的忠実性を達成できるか？
• RQ4 NMFおよびSVMにおいて、CountGaussの性能はCountSketchやランダムガウス射影といった既存手法と比べて、正確性と速度の両面で優れているか？

主な発見

• 提案されたCountGauss変換は、$T \cdot X$を$O(\mathrm{nnz}(X)) + \tilde{O}(m^2 d^3)$時間で計算可能であり、$\mathrm{nnz}(X) \gg m^2 d^3$のとき、密なガウス乗算のナイーブな$O(\mathrm{nnz}(X) \cdot m)$時間と比べて顕著に高速である。
• $T \cdot X$と$\tilde{G} \cdot X$の合計変動距離は任意の正定数未満であり、$T \cdot X$が$\tilde{G} \cdot X$の代わりに使用可能であることを保証し、成功確率の誤差がわずかでかつ有界である。
• 非負値行列分解（NMF）において、CountGaussはノイズのある環境下でも、完全なガウス射影と同等のアンカーレコメンドレーション性能を達成する。
• サポートベクターマシン（SVM）において、CountGaussは射影時間のわずかな増加にもかかわらず、CountSketchおよび標準的なランダムガウス射影よりも高速な学習時間を実現する。
• 実世界のデータ（例：乳癌データセット）を用いた実験では、CountGaussがガウス射影法と同様の生物学的に意味のある活性化パターンを回復することが示された。
• 理論的解析により、近似誤差が$\|E\|_2$によって上限づけられ、これは任意に小さくできることが確認され、射影問題の最適目的値が元の問題の最適値と定数倍以内に保たれることを保証する。