[論文レビュー] Co-Occuring Directions Sketching for Approximate Matrix Multiply

Youssef Mroueh, Etienne Marcheret+1 more|arXiv (Cornell University)|Oct 25, 2016

Stochastic Gradient Optimization Techniques参考文献 12被引用数 5

ひとこと要約

本稿では、ストリーミングモデルにおける近似行列積（AMM）のための決定的アルゴリズムである共起方向スケッチを提案する。この手法は、スケッチサイズ $ abla = O(\sqrt{sr(X)sr(Y)}/\varepsilon)$ で、最適な低ランク行列積の $(1+\varepsilon)$-近似を達成し、小さなスケッチサイズにおいて、確率的および決定的ベースラインを上回る誤差バウンドと実験的性能を達成する。

ABSTRACT

We introduce co-occurring directions sketching, a deterministic algorithm for approximate matrix product (AMM), in the streaming model. We show that co-occuring directions achieves a better error bound for AMM than other randomized and deterministic approaches for AMM. Co-occurring directions gives a $1 + ε$ -approximation of the optimal low rank approximation of a matrix product. Empirically our algorithm outperforms competing methods for AMM, for a small sketch size. We validate empirically our theoretical findings and algorithms

研究の動機と目的

• 制限されたメモリと1回のパスアクセスでのみ利用可能なストリーミングモデルにおいて、近似行列積を効率的に計算する課題に対処すること。
• 既存の確率的および決定的AMM手法の誤差バウンドと $\varepsilon$ に対するスケッチサイズ依存性を改善する決定的アルゴリズムを開発すること。
• 入力行列に共起する方向的構造を活用することで、$XY^\top$ の近似行列積および低ランク近似に対して、より厳密なスペクトルノルム誤差保証を達成すること。
• 合成および実世界のマルチモーダルデータセットにおいて、提案手法が確率的および決定的ベースラインを実験的に上回ることを検証すること。

提案手法

• アルゴリズムは、頻度の高い方向（Frequent Directions）にインspiredされた決定的スケッチ戦略を用い、行列積 $XY^\top$ で共起する主要な方向を保存することに焦点を当てる。
• スケッチ $B_X$ および $B_Y$ を、$X$ および $Y$ の行列に対して、相関の強い成分を捉える1ランク更新ルールを繰り返し適用することで逐次更新する。
• スペクトルノルム誤差を最小化するために、積 $B_X B_Y^\top$ の特異値にスリッピング操作を適用し、安定性と正確性を確保する。
• スケッチサイズ $\ell$ は $X$ および $Y$ の安定ランクに依存し、$\ell = O(\sqrt{sr(X)sr(Y)}/\varepsilon)$ となる。これは、確率的手法の $O(1/\varepsilon^2)$ 依存性よりも改善されている。
• アルゴリズムはデータを1回のパスで処理するため、小さなメモリフットプリントを持つストリーミングアプリケーションに適している。
• 本手法は、頻度の高い方向アプローチをAMM設定に一般化し、単一の行列ではなく $X$ および $Y$ の両方の共起方向を同時に追跡する。

実験結果

リサーチクエスチョン

• RQ1 決定的AMMアルゴリズムは、スペクトルノルムにおいて、既存の確率的および決定的手法よりも優れた誤差バウンドを達成できるか？
• RQ2 $X$ および $Y$ における主要な方向の共起性は、現在の手法よりも $\varepsilon$ に対するより効率的なスケッチサイズ依存性を可能にするか？
• RQ3 合成および実世界のマルチモーダルデータにおいて、確率的手法（例：サンプリング、ランダムプロジェクション、ハッシング）および決定的ベースライン（例：FD-AMM）と比較して、このアルゴリズムの性能はいかがなものか？
• RQ4 特異値がゆっくりと減衰するノイズの多い低ランク行列設定において、アルゴリズムは依然として強力な性能を維持できるか？
• RQ5 理論的スケッチサイズ $\ell$ が $X$ および $Y$ のランクに対して相対的に、誤差行動にフェーズ遷移が現れるか？

主な発見

• 共起方向スケッチは、スペクトルノルム誤差バウンド $\left\|XY^\top - B_X B_Y^\top\right\| \leq \varepsilon \cdot \text{tr}(X^\top X) \cdot \text{tr}(Y^\top Y)$ を達成し、$\ell = O(\sqrt{sr(X)sr(Y)}/\varepsilon)$ となる。これは、確率的手法の $O(1/\varepsilon^2)$ 依存性を上回る。
• 実験的に、共起方向スケッチは、サンプリング、ランダムプロジェクション、ハッシングといった確率的ベースラインおよび決定的FD-AMMベースラインを、特に小さなスケッチサイズにおいて、誤差の観点で上回る。
• スケッチサイズ $\ell$ が $O(\min(rank(X), rank(Y)))$ を超えると、誤差にフェーズ遷移が現れる。これはFD-AMMよりも早く発生する。FD-AMMは $\ell > O(rank(X) + rank(Y))$ に達するまで同様の改善が現れない。
• MS-COCOデータセットでは、共起方向スケッチはFD-AMMよりも低いAMM誤差を達成し、$m_x=2048$, $m_y=3000$, $n=113,287$ の実世界のマルチモーダルデータにおいて優れた性能を示した。
• ノイズの多い低ランク設定では、共起方向スケッチは依然としてFD-AMMを上回るが、その差は縮小する。これは、特異値のスリッピングにノイズに対する感受性があることを示唆している。
• アルゴリズムの実行時間は、サンプリングと同等かやや速く、FD-AMMより速く、ランダムプロジェクションよりも大幅に速いため、ストリーミングアプリケーションにおいて実用的である。