[論文レビュー] Frequent Directions : Simple and Deterministic Matrix Sketching

Mina Ghashami, Edo Liberty+2 more|arXiv (Cornell University)|Jan 8, 2015

Sparse and Compressive Sensing Techniques参考文献 32被引用数 12

ひとこと要約

この論文は、行列を1行ずつ処理し、固定サイズℓ×dのスケッチ行列を維持する決定的でストリーミング可能な行列スケッチアルゴリズムであるFrequent Directionsを導入する。1行あたりO(dℓ)の計算量で、最適な空間-誤差トレードオフを達成し、共分散近似ではスケッチのフロベニウスノルム誤差が‖A−Aₖ‖_F²/(ℓ−k)で有界であり、射影誤差では(1 + k/(ℓ−k))‖A−Aₖ‖_F²で有界である。両者とも定数倍の誤差要因を除き、理論的下界に一致する。

ABSTRACT

We describe a new algorithm called Frequent Directions for deterministic matrix sketching in the row-updates model. The algorithm is presented an arbitrary input matrix $A \in R^{n imes d}$ one row at a time. It performed $O(d imes \ell)$ operations per row and maintains a sketch matrix $B \in R^{\ell imes d}$ such that for any $k < \ell$ $\|A^TA - B^TB \|_2 \leq \|A - A_k\|_F^2 / (\ell-k)$ and $\|A - π_{B_k}(A)\|_F^2 \leq \big(1 + \frac{k}{\ell-k}\big) \|A-A_k\|_F^2 $ . Here, $A_k$ stands for the minimizer of $\|A - A_k\|_F$ over all rank $k$ matrices (similarly $B_k$) and $π_{B_k}(A)$ is the rank $k$ matrix resulting from projecting $A$ on the row span of $B_k$. We show both of these bounds are the best possible for the space allowed. The summary is mergeable, and hence trivially parallelizable. Moreover, Frequent Directions outperforms exemplar implementations of existing streaming algorithms in the space-error tradeoff.

研究の動機と目的

• ストリーミングモデルにおいて、データが逐次的に到着し、主記憶領域が限られている環境で、大規模行列の効率的な低ランク近似を計算することに挑戦する。
• 既存の確率的行列スケッチ手法の代替として、より強い理論的保証とより良い最悪ケース誤差境界を提供する決定的アルゴリズムを開発すること。
• マージ可能で、並列処理が容易なスケッチアルゴリズムを設計し、大規模行列における効率的な分散処理を可能にすること。
• スケッチサイズと近似誤差の最適なトレードオフを達成し、任意の行更新ベースのスケッチ手法に対して理論的下界に一致すること。

提案手法

• 入力行列A ∈ ℝⁿˣᵈの各行を1行ずつ順に処理し、固定サイズℓ×dのスケッチ行列B ∈ ℝ^ℓˣᵈを逐次的に維持する。
• 各ステップで、現在のスケッチに対してトレuncated SVDを実行し、新しい行を統合することで、上位の特異値を保持する。
• 効率的なスケッチ維持のため、ランク1の更新戦略を用い、現在の行列のSVDを活用し、最小寄与の成分を除去するデフラクションステップを適用する。
• AᵀAとBᵀBの差が、Aの最良のランク-k近似の残差誤差に1/(ℓ−k)をスケーリングした量で有界であるという不変条件を維持する。
• スケッチはマージ可能である：互いに素なデータサブセットからのスケッチは、連結してから再びアルゴリズムを適用することで組み合わせられ、並列処理が容易になる。
• アルゴリズムは、Bₖの行空間へのAの射影誤差が(1 + k/(ℓ−k))倍の最適誤差で有界であることを保証しており、このスケッチサイズでは最良の相対誤差保証である。

実験結果

リサーチクエスチョン

• RQ1 決定的行列スケッチアルゴリズムは、行更新ストリーミングモデルで最適な空間-誤差トレードオフを達成できるか？
• RQ2 Frequent Directionsのような決定的手法の性能は、ランダムプロジェクション、ハッシング、サンプリングといった確率的手法と比較して、誤差と実行時間の点でどう異なるか？
• RQ3 Frequent Directionsが生成するスケッチはマージ可能か？ これにより、効率的な分散および並列処理が可能になるか？
• RQ4 Frequent Directionsの理論的誤差境界は、タイトであり、競合アルゴリズムのものよりも実際の性能が優れていると示せるか？

主な発見

• Frequent Directionsは、‖AᵀA − BᵀB‖₂ ≤ ‖A − Aₖ‖_F² / (ℓ − k) の最良の加法的誤差境界を達成し、定数倍の誤差要因を除き理論的下界に一致する。
• 射影誤差は(1 + k/(ℓ − k))‖A − Aₖ‖_F²で有界であり、これはサイズℓの任意のスケッチに対して最適な相対誤差保証である。
• 実験では、ランダムプロジェクション、ハッシング、サンプリング手法ですら、共分散誤差および射影誤差の両面でFrequent Directionsが一貫して優れている。
• Frequent Directionsの最悪ケース誤差境界は、実際のランダム手法の性能を上回る。これは、Frequent Directionsが優れた性能を保証するだけでなく、実際の応用でもしばしばそれを上回ることを示している。
• ハッシングやサンプリングよりも計算コストは高いが、Frequent Directionsはnとdに対して線形にスケーリングされ、実行時間はO(ndℓ)であり、大規模なストリーミングワークロードに適している。
• アルゴリズムは完全に並列化可能である：独立したデータパーティションからのスケッチは、それらを連結してからアルゴリズムを再適用することでマージ可能であり、効率的な分散処理が可能になる。