[論文レビュー] Rademacher Chaos, Random Eulerian Graphs and The Sparse Johnson-Lindenstrauss Transform

Vladimir Braverman, Rafail Ostrovsky+1 more|arXiv (Cornell University)|Nov 11, 2010

Neural Networks and Applications参考文献 16被引用数 20

ひとこと要約

この論文は、ランダムなオイラー多重グラフの組合せ的構造を介して2次ラデマッハ・コーシャのモーメントを分析することにより、スパース・ジョンソン＝リンドンストラス変換のスパarsityとランダムネスの要件を改善する。非ゼロ要素の数を列ごとに $ O(1/\theta \log(1/\delta)\log(k/\delta)) $ から $ O\left(\frac{1}{\epsilon}\left(\frac{\log(1/\delta)\log\log\log(1/\delta)}{\log\log(1/\delta)}\right)^2\right) $ に削減し、大幅にバインドを厳しくし、行列生成に必要なランダムネスを低減する。

ABSTRACT

The celebrated dimension reduction lemma of Johnson and Lindenstrauss has numerous computational and other applications. Due to its application in practice, speeding up the computation of a Johnson-Lindenstrauss style dimension reduction is an important question. Recently, Dasgupta, Kumar, and Sarlos (STOC 2010) constructed such a transform that uses a sparse matrix. This is motivated by the desire to speed up the computation when applied to sparse input vectors, a scenario that comes up in applications. The sparsity of their construction was further improved by Kane and Nelson (ArXiv 2010). We improve the previous bound on the number of non-zero entries per column of Kane and Nelson from $O(1/ε\log(1/δ)\log(k/δ))$ (where the target dimension is $k$, the distortion is $1\pm ε$, and the failure probability is $δ$) to $$ O\left({1\overε} \left({\log(1/δ)\log\log\log(1/δ) \over \log\log(1/δ)} ight)^2 ight). $$ We also improve the amount of randomness needed to generate the matrix. Our results are obtained by connecting the moments of an order 2 Rademacher chaos to the combinatorial properties of random Eulerian multigraphs. Estimating the chance that a random multigraph is composed of a given number of node-disjoint Eulerian components leads to a new tail bound on the chaos. Our estimates may be of independent interest, and as this part of the argument is decoupled from the analysis of the coefficients of the chaos, we believe that our methods can be useful in the analysis of other chaoses.

研究の動機と目的

• スパース・ジョンソン＝リンドンストラス変換行列における列ごとの非ゼロ要素数を減らすが、$ (1\pm\epsilon) $ の歪みと失敗確率 $ \delta $ を維持する。
• 変換行列を生成するのに必要なランダムネスの量を減らす。
• 独立成分を持つ行列に対する $ \tilde{\Omega}(\epsilon^{-2}) $ のスパarsity下限を打ち破るために、行列構築における構造的依存関係を活用する。
• ノード素因数分解可能なオイラー図の組合せ的構造を完全に活用することで、2次ラデマッハ・コーシャのよりタイトな尾部バインドを提供する。
• この問題にとどまらず、他のコーシャ過程に対しても応用可能な可能性のある、新しい分析フレームワークを確立する。

提案手法

• 係数 $ a_{ij} $ がハッシュ関数と入力ベクトルに依存する、2次ラデマッハ・コーシャ $ Z = \sum_{1\leq i<j\leq d} a_{ij} \zeta_i \zeta_j $ を分析する。
• Z の $ 2m $ 階モーメントに含まれる単項式を、d 個のノード上のグラフにマッピングし、非ゼロ単項式はノード素因数分解可能なオイラー部分グラフの和に一致する。
• 特定の次数およびエッジ多重度制約を満たすオイラー多重グラフの数を、組合せ的数え上げによって上限付ける。
• スパースな構成に対する洗練された数え上げ技術を用い、集合 $ Q $ のサイズと、グラフ内の異なるインデックス数 $ z $ に基づいて場合分けを行う。
• オイラー成分の構造的性質と制御された定数を用いた過剰数え上げの議論を用いて、大規模な偶数次のモーメントをバインドすることで、新しいコーシャの尾部不等式を導出する。
• 従来の測度集中境界の制限を避けるために、グラフ論的構造を完全に活用した、新規のモーメントベースの分析を導入する。

実験結果

リサーチクエスチョン

• RQ1 カーンとネルソンの $ O(1/\epsilon \log(1/\delta) \log(k/\delta)) $ の境界を超えて、スパース・ジョンソン＝リンドンストラス変換のスパarsityを改善できるか？
• RQ2 スパース・ジョンソン＝リンドンストラス行列において、$ (1\pm\epsilon) $ の歪みと失敗確率 $ \delta $ を達成するために必要な列ごとの非ゼロ要素の最小数は何か？
• RQ3 コーシャモーメントにおける組合せ的構造を活用することで、このような行列の生成に必要なランダムネスの複雑さを低減できるか？
• RQ4 下位のオイラー図構造を分析することで、2次ラデマッハ・コーシャのモーメントをよりタイトにバインドできるか？
• RQ5 完全に組合せ的であるコーシャモーメント展開の分析は、部分的な図構造に依存する従来の方法よりも、より良い尾部バインドをもたらすか？

主な発見

• 本論文は、カーンとネルソンの $ O\left(\frac{1}{\epsilon}\log(1/\delta)\log(k/\delta)\right) $ の境界を超える、新しい境界 $ O\left(\frac{1}{\epsilon}\left(\frac{=\log(1/\delta)\log\log\log(1/\delta)}{\log\log(1/\delta)}\right)^2\right) $ を達成し、列ごとの非ゼロ要素数を示した。
• 解析により、コーシャモーメント展開におけるオイラー多重グラフの組合せ的構造を完全に活用することで、行列生成に必要なランダムネスが削減された。
• 著者らは、ランダム多重グラフにおけるノード素因数分解可能なオイラー成分の数を分析することで、2次ラデマッハ・コーシャの新しい尾部バインドを導出した。これにより、よりタイトなモーメント推定が可能になった。
• 行列構築における構造的依存関係を用いることで、独立成分を持つ行列に対する $ \tilde{\Omega}(\epsilon^{-2}) $ のスパarsity障壁を回避した。
• 特に、スパースな構成における具体的な列挙の数え上げを含む、開発された組合せ的フレームワークは、独立した関心の対象となり得るだけでなく、他のコーシャ過程に対しても応用可能である可能性がある。
• 改善された境界は、インデックス集合 $ Q $ のサイズと、異なるインデックス数 $ z $ に基づく場合分けを用い、洗練された過剰数え上げと漸近的バインドを用いることで達成された。