[論文レビュー] A Sparse Johnson--Lindenstrauss Transform

Anirban Dasgupta, Ravi Kumar+1 more|arXiv (Cornell University)|Apr 23, 2010

Sparse and Compressive Sensing TechniquesEngineering参考文献 19被引用数 19

ひとこと要約

この論文は、ハッシュに基づく構成を用いたスパースなジョンソン＝リンデンストラウス変換を導入し、1列あたりの非ゼロ要素数を古典的な O(1/ε²) よりも著しく少ない O(1/ε) に抑える。これにより、非ゼロ要素ごとの更新時間が ˜O(1/ε) に短縮される。本手法はローカルな密度化を伴うハッシュを活用し、一致する下界を証明することで、スパースなベクトルおよびストリーミングワークロードにおける次元削減を高速化する。

ABSTRACT

Dimension reduction is a key algorithmic tool with many applications including nearest-neighbor search, compressed sensing and linear algebra in the streaming model. In this work we obtain a {\em sparse} version of the fundamental tool in dimension reduction --- the Johnson--Lindenstrauss transform. Using hashing and local densification, we construct a sparse projection matrix with just $ ilde{O}(\frac{1}ε)$ non-zero entries per column. We also show a matching lower bound on the sparsity for a large class of projection matrices. Our bounds are somewhat surprising, given the known lower bounds of $Ω(\frac{1}{ε^2})$ both on the number of rows of any projection matrix and on the sparsity of projection matrices generated by natural constructions. Using this, we achieve an $ ilde{O}(\frac{1}ε)$ update time per non-zero element for a $(1\pmε)$-approximate projection, thereby substantially outperforming the $ ilde{O}(\frac{1}{ε^2})$ update time required by prior approaches. A variant of our method offers the same guarantees for sparse vectors, yet its $ ilde{O}(d)$ worst case running time matches the best approach of Ailon and Liberty.

研究の動機と目的

• 1列あたりの非ゼロ要素数を最小限に抑えつつ、高確率で対応する距離を保存するスパースなランダム射影行列を設計すること。
• i.i.d. ランダム行列に対しては既知の Ω(1/ε²) のスパースネス下界を、ハッシュによる構造的依存関係の導入によって克服すること。
• 特にグローバル変換が高コストとなるターンstileモデルにおいて、スパースなベクトルおよびストリーミングデータの更新時間を高速化すること。
• 一般の射影行列のクラスに対して、スパースネスの一致する下界を確立し、構成が漸近的に最適であることを証明すること。

提案手法

• 各次元を正確に1つのハッシュバケットにマッピングするハッシュ関数を用いて、射影行列を構築し、要素間に制御された依存関係を導入する。
• ガウス分布ではなく ±1 のランダム変数を用いることで、より緊密な集中不等式を得られ、分散解析を簡素化する。
• 異なるハッシュバケットからの誤差寄与の相関を扱うために FKG 不等式を適用し、総誤差の集中を保証する。
• スパースな入力ベクトルの密度化を図るリピテーション技術を用い、JL 性質を満たすために必要な ∥x∥∞ を O(ε) から O(√ε) に低減する。
• ブロック・ハダマード事前処理を用いて、すべてのベクトルに対して ˜O(min(nnz(x)/ε, d)) の最悪実行時間を達成する。
• ニサンの擬似乱数生成機を用いてハッシュ関数を決定的化するが、より効率的な決定的化が見つからない限り、更新時間が ˜O(k) に増加する。

実験結果

リサーチクエスチョン

• RQ1 1列あたり o(1/ε²) の非ゼロ要素数を有するジョンソン＝リンデンストラウス変換を構築可能であり、(1±ε)-歪みを保つことができるか？
• RQ2 固定された列スパースネスと構造的依存関係を持つハッシュベースの構成は、i.i.d. ランダム行列よりも優れたスパースネスと高速な更新時間を実現可能か？
• RQ3 一般の条件下で、JL 性質を満たす行列の1列あたりの非ゼロ要素数の最適な下界は何か？
• RQ4 スパースなベクトルに対するターンstileストリーミングモデルにおける更新時間を、スパースで構造的な射影を用いて ˜O(d) 未満に低下させられるか？
• RQ5 提案された構成は最適であり、広範なクラスの射影行列に対して一致する下界を証明できるか？

主な発見

• 本論文は、1列あたり O(1/ε log²(k/δ) log(1/δ)) の非ゼロ要素数を有するスパースなジョンソン＝リンデンストラウス変換を構築し、o(1/ε²) のスパースネスを達成した。
• 本手法は、非ゼロ入力要素1つあたり ˜O(1/ε) の更新時間を達成し、従来の ˜O(1/ε²) の手法と比べて顕著に高速化された。
• 広範なクラスの射影行列に対して、1列あたり Ω(min(1/ε², √log k(d)/ε)) の非ゼロ要素数の一致する下界が証明された。
• スパースなベクトルに対しては、実行時間が ˜O(nnz(x)/ε) となり、スパースネス比および ε 依存性の面で既存手法を上回る。
• 本構成により、すべてのベクトルに対して ˜O(min(nnz(x)/ε, d)) の最悪実行時間が達成され、スパースベクトルに対する最良の既知の境界と一致する。
• 本手法は、スパースネスおよび更新時間の点で最適であり、非ゼロ要素の弱いモーメント条件のもとでも下界が成立する。