[論文レビュー] Sparsity Lower Bounds for Dimensionality Reducing Maps

Jelani Nelson, Huy L. Nguyên|arXiv (Cornell University)|Nov 5, 2012

Sparse and Compressive Sensing Techniques参考文献 40被引用数 4

ひとこと要約

本稿は、次元削減線形写像のスパarsityに必要な下界を近似的に最適化し、Johnson-Lindenstrauss変換、制限等長性（RIP）行列、およびオブlivious部分空間埋め込みを含む。m = o(n / log(1/ε)) のとき、スパースなJL行列には各列に Ω(ε⁻¹ log n / log(1/ε)) 個の非ゼロ要素が必要であり、m = O(k log(n/k)) の最適な行数を持つRIP行列では、各列に Ω(k log(n/k)) 個の非ゼロ要素が必要であることが示され、このような構成におけるスパarsityの根本的な限界が明らかになった。

ABSTRACT

We give near-tight lower bounds for the sparsity required in several dimensionality reducing linear maps. First, consider the JL lemma which states that for any set of n vectors in R there is a matrix A in R^{m x d} with m = O(eps^{-2}log n) such that mapping by A preserves pairwise Euclidean distances of these n vectors up to a 1 +/- eps factor. We show that there exists a set of n vectors such that any such matrix A with at most s non-zero entries per column must have s = Omega(eps^{-1}log n/log(1/eps)) as long as m < O(n/log(1/eps)). This bound improves the lower bound of Omega(min{eps^{-2}, eps^{-1}sqrt{log_m d}}) by [Dasgupta-Kumar-Sarlos, STOC 2010], which only held against the stronger property of distributional JL, and only against a certain restricted class of distributions. Meanwhile our lower bound is against the JL lemma itself, with no restrictions. Our lower bound matches the sparse Johnson-Lindenstrauss upper bound of [Kane-Nelson, SODA 2012] up to an O(log(1/eps)) factor. Next, we show that any m x n matrix with the k-restricted isometry property (RIP) with constant distortion must have at least Omega(klog(n/k)) non-zeroes per column if the number of the rows is the optimal value m = O(klog (n/k)), and if k < n/polylog n. This improves the previous lower bound of Omega(min{k, n/m}) by [Chandar, 2010] and shows that for virtually all k it is impossible to have a sparse RIP matrix with an optimal number of rows. Lastly, we show that any oblivious distribution over subspace embedding matrices with 1 non-zero per column and preserving all distances in a d dimensional-subspace up to a constant factor with constant probability must have at least Omega(d^2) rows. This matches one of the upper bounds in [Nelson-Nguyen, 2012] and shows the impossibility of obtaining the best of both of constructions in that work, namely 1 non-zero per column and Õ(d) rows.

研究の動機と目的

• 大規模なデータ処理における次元削減線形写像におけるスパarsityの根本的限界を理解すること。
• スパースなJohnson-Lindenstrauss変換におけるスパarsityの既知の上界と下界の差を埋めること。
• 最適な行数を持つRIP行列が一般条件下でスパースにできないことを示すこと。
• オブlivious部分空間埋め込みにおけるスパarsityと行数のトレードオフを解明すること。
• 部分空間埋め込みにおいて1列あたり1つの非ゼロ要素と Õ(d) 行を併用する構成を除外するタイトな境界を提供すること。

提案手法

• n個のベクトルがRdに存在する困難なインスタンスの確率的構成を用いて、Johnson-Lindenstrauss行列の列スパarsityに関する下界を証明する。
• ネットパッキングおよび被覆数に基づく議論を適用し、最適な行数を持つRIP行列の下界を導出する。
• 2階モーメント法と分散解析を用いて、スパース行列がd次元部分空間内のベクトルのℓ₂ノルムを保存する確率を制限する。
• Johnson-Lindenstrauss補題とその既知の上界を活用し、対数因子を除いて一致する下界を導出する。
• i.i.d. 要素を{0, ±1/√s}に持つOSNAP型分布を分析し、スパarsityと行数のトレードオフを確立する。
• γ₂機能的およびガウス幅を用いて、ベクトル集合の複雑さを特徴付け、必要な行列次元に関する境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 行数が最適でない場合、2点間の距離を1±εの歪みで保つためのJohnson-Lindenstrauss行列で、各列に必要な非ゼロ要素の最小数はどれくらいか？
• RQ2 最適な行数 m = O(k log(n/k)) を持つ制限等長性（RIP）行列が、kスパースなベクトルに対して定数スパarsityを達成できるか？
• RQ3 1列あたり1つの非ゼロ要素と Õ(d) 行を持つオブlivious部分空間埋め込みを構成し、d次元部分空間内のすべてのℓ₂ノルムを保存できるか？
• RQ4 与えられた幾何的複雑さを持つベクトル集合の埋め込みにおいて、OSNAP型分布の行数と列スパarsityのトレードオフは何か？
• RQ5 Johnson-Lindenstrauss補題のブラックボックス適用を超えて、次元削減写像のスパarsityを改善できるか？

主な発見

• Johnson-Lindenstrauss変換では、m = o(n / log(1/ε)) のとき、2点間の距離を1±εの歪みで保つ任意の行列は、各列に少なくとも Ω(ε⁻¹ log n / log(1/ε)) 個の非ゼロ要素を必要とする。
• この下界は、KaneとNelson（SODA 2012）のスパースJL上界と O(log(1/ε)) 要素の因子を除いて一致し、近似的に最適性が確立された。
• 最適な行数 m = O(k log(n/k)) を持つRIP行列では、k < n / polylog n のとき、各列のスパarsityは Ω(k log(n/k)) 必要であり、この領域ではスパarsityが不可能であることが示された。
• このRIP行列の下界は、Chandar（2010）の Ω(min{k, n/m}) から Ω(k log(n/k)) に改善され、ほとんどのkに対して最適な行数を持つスパースRIP行列は存在しないことが示された。
• 1列あたり1つの非ゼロ要素を持つオブlivious部分空間埋め込みでは、d次元部分空間内の距離を保存するためには少なくとも Ω(d²) 行が必要であり、Õ(d) 行と単位列スパarsityを併用する構成は除外された。
• 本稿は、1列あたり1つの非ゼロ要素と Õ(d) 行を併用する部分空間埋め込みが不可能であることを示し、NelsonとNguyen（2012）が提起した重要な未解決問題を解決した。