[論文レビュー] A Derandomized Sparse Johnson-Lindenstrauss Transform

Daniel M. Kane, Jelani Nelson|arXiv (Cornell University)|Jun 18, 2010

Sparse and Compressive Sensing Techniques参考文献 24被引用数 49

ひとこと要約

本稿では、有界独立性ハッシュ関数を用いた非ランダム化スパース・ジョンソン＝リンドンストラス変換を提示する。これにより、シード長を $ O(\log(k/\delta)\log d) $ ビットに短縮し、列のスパarsityを $ \alpha = \Theta(\varepsilon^{-1}\log(1/\delta)\log(k/\delta)) $ に改善した。この手法により、元の構成で用いられる高エントロピーのランダム行列を低メモリで構造化されたランダム射影に置き換えることで、データストリームにおけるサブライン時間更新が可能になった。

ABSTRACT

Recent work of [Dasgupta-Kumar-Sarlos, STOC 2010] gave a sparse Johnson-Lindenstrauss transform and left as a main open question whether their construction could be efficiently derandomized. We answer their question affirmatively by giving an alternative proof of their result requiring only bounded independence hash functions. Furthermore, the sparsity bound obtained in our proof is improved. The main ingredient in our proof is a spectral moment bound for quadratic forms that was recently used in [Diakonikolas-Kane-Nelson, FOCS 2010].

研究の動機と目的

• ダスガプタ、クマール、サルロス（STOC 2010）が提唱したスパース・ジョンソン＝リンドンストラス変換の非ランダム化という未解決問題に取り組むこと。この変換は、$ \Omega(d\alpha \log k) $ ビットのランダムネスを必要としていた。
• スパース射影行列をサンプリングするためのシード長を短縮し、ストリーミングおよび低メモリ環境での効率的利用を可能にすること。
• 従来の研究と比較して、$ \log(k/\delta) $ 要因を除去することで、列のスパarsityの上限 $ \alpha $（各列の非ゼロ要素数）を改善すること。
• 有界独立性ハッシュ関数（特に、ハッシュ関数に対して $ O(\log(k/\delta)) $ 回独立、符号関数に対して $ O(\log(1/\delta)) $ 回独立）が、ジョンソン＝リンドンストラス性質を満たすのに十分であることを示すこと。

提案手法

• 本手法は、先行研究で用いられたFKG不等式に代わり、ハッソン＝ライト不等式を用いて、行列-ベクトル積に由来する二次形式のモーメントを抑えている。
• ハッシュ関数 $ h: [d\alpha] \to [k] $ と符号関数 $ \sigma: [d\alpha] \to \{-1,1\} $ を用いてスパース射影行列を構築し、各列が最大 $ \alpha $ 個の非ゼロ要素を持つようにしている。
• 構成は、$ r_h $-回独立な $ h $ と $ r_\sigma $-回独立な $ \sigma $ に依存しており、$ r_h = O(\log(k/\delta)) $、$ r_\sigma = O\left(\log(1/\delta)\right) $ である。これにより、短いシード表現が可能になる。
• 行列-ベクトル積 $ Ax $ は、$ A $ が明示的に格納されている場合は $ O(\alpha \cdot \|x\|_0) $ 時間で計算可能であり、$ A $ がシードによって符号化されている場合は、低次多項式の高速な多重評価を用いる。
• 証明では、$ \|Ax\|_2^2 $ と $ \|x\|_2^2 $ のずれを、$ T = S - R $ に分解して分析している。ここで $ S $ は主な射影項、$ R $ は有界な摂動項である。

実験結果

リサーチクエスチョン

• RQ1 ダスガプタ、クマール、サルロスのスパース・ジョンソン＝リンドンストラス変換は、有界独立性ハッシュ関数のみを用いて非ランダム化可能だろうか？
• RQ2 ジョンソン＝リンドンストラス性質を保ちながら、スパース射影行列をサンプリングするのに必要な最小のシード長は何か？
• RQ3 従来の構成に見られる $ \log(k/\delta) $ 要因を除去することで、スパarsityの上限 $ \alpha $ を改善できるだろうか？
• RQ4 ハッソン＝ライト不等式は、スパース射影における集中性の証明に、FKG不等式の代替として有効だろうか？

主な発見

• 本稿では、$ O(\log(k/\delta)\log d) $ ビットのシード長を実現する非ランダム化スパース・ジョンソン＝リンドンストラス変換を達成した。これは、元の $ \Omega(d\alpha \log k) $-ビットのシードに比べて、ランダムネスの必要量を顕著に削減した。
• 列のスパarsityは $ \alpha = \Theta(\varepsilon^{-1}\log(1/\delta)\log(k/\delta)) $ に改善され、従来の構成から $ \log(k/\delta) $ 要因が除去された。
• 本手法は、$ O(\log(k/\delta)) $-回独立なハッシュ関数と $ O(\log(1/\delta)) $-回独立な符号関数のみを用いており、最小限のランダムネスで効率的にサンプリング可能である。
• 本構成は、ターンスタイルストリーミングモデルにおけるサブライン時間更新をサポートしており、動的更新下での高次元ベクトルに対する効率的な次元削減を可能にした。
• 証明手法では、FKG不等式を避けてハッソン＝ライト不等式を用い、誤差行列の作用素ノルムの $ \ell $-次のモーメントを抑え、より洗練され、モジュラーな解析が可能になった。