[論文レビュー] Toward a unified theory of sparse dimensionality reduction in Euclidean space

Jean Bourgain, Sjoerd Dirksen+1 more|arXiv (Cornell University)|Nov 11, 2013

Sparse and Compressive Sensing Techniques参考文献 72被引用数 6

ひとこと要約

本稿では、スパース・ジョンソン＝リンドンストラウス変換（SJLT）を用いたユークリッド空間内でのスパース次元削減について、統一的な理論的枠組みを構築する。この枠組みにより、集合 $ T $ に属するベクトルのノルムを $ 1+\varepsilon $ 以内に保つために必要なスパース性 $ s $ とターゲット次元 $ m $ を決定づける新しい幾何的複雑度パラメータが同定される。主な貢献は、元々密度のあるガウス行列にのみ適用可能であったゴアードの定理のスパース版を確立し、圧縮センシング、部分空間埋め込み、多様体学習の結果を統合的に扱う、タイトでデータ依存の境界を提供することにある。

ABSTRACT

Let $Φ\in\mathbb{R}^{m imes n}$ be a sparse Johnson-Lindenstrauss transform [KN14] with $s$ non-zeroes per column. For a subset $T$ of the unit sphere, $\varepsilon\in(0,1/2)$ given, we study settings for $m,s$ required to ensure $$ \mathop{\mathbb{E}}_Φ\sup_{x\in T} \left|\|Φx\|_2^2 - 1 ight| < \varepsilon , $$ i.e. so that $Φ$ preserves the norm of every $x\in T$ simultaneously and multiplicatively up to $1+\varepsilon$. We introduce a new complexity parameter, which depends on the geometry of $T$, and show that it suffices to choose $s$ and $m$ such that this parameter is small. Our result is a sparse analog of Gordon's theorem, which was concerned with a dense $Φ$ having i.i.d. Gaussian entries. We qualitatively unify several results related to the Johnson-Lindenstrauss lemma, subspace embeddings, and Fourier-based restricted isometries. Our work also implies new results in using the sparse Johnson-Lindenstrauss transform in numerical linear algebra, classical and model-based compressed sensing, manifold learning, and constrained least squares problems such as the Lasso.

研究の動機と目的

• ジョンソン＝リンドンストラウスの補題における最悪ケース境界を改善する、一般でデータに適応するスパース次元削減の理論を構築すること。
• 単位球面上の集合 $ T $ の本質的構造を捉える新しい幾何的複雑度パラメータを同定し、$ m $ および $ s $ のタイトな境界を可能にすること。
• スパース変換の下で、圧縮センシング、部分空間埋め込み、多様体学習の顕著な結果を統一的な理論的枠組みで統合すること。
• 元々密度のあるガウス行列にのみ適用可能であったゴアードの定理のスパース版を提供すること。
• データの幾何的構造を活用することで、制約付き最小二乗法、多様体学習、数値線形代数の応用分野における境界を改善すること。

提案手法

• 集合 $ T $ の幾何的性質に基づく新しい複雑度パラメータを導入し、エントロピー数と双対・スダコフの最小化不等式を用いて定義する。
• チェインジの技法とスパース変換の誤差の尾部確率を用いて、$ x \in T $ における $ |\|\Phi x\|_2^2 - 1| $ の上界の上限を制御する。
• 双対性とマジョライジング測度論を用いて、従来の手法に見られる対数的損失を回避し、より良い境界を得る。
• 新しい複雑度パラメータが小さい場合、$ \mathbb{E}_\Phi \sup_{x\in T} |\|\Phi x\|_2^2 - 1| < \varepsilon $ を満たすように $ m $ と $ s $ を選べることを確立する。
• SJLT が二部正則な二部グラフのランダムに符号が付加された隣接行列としての構造を活用し、確率的集中不等式を導出する。
• 多様体の接ベクトルにおけるノルム保存が、双リプシッツ性を用いて測地的距離の保存を示すことを証明する。

実験結果

リサーチクエスチョン

• RQ1 スパース・ジョンソン＝リンドンストラウス変換が集合 $ T $ 内のすべてのベクトルのノルムを保存するための、必要なスパース性 $ s $ とターゲット次元 $ m $ を決定づける幾何的複雑度パラメータは何か？
• RQ2 独立同分布の成分を持つスパース変換に対して、元々密度のあるガウス行列にのみ適用可能であったゴアードの定理のスパース版を確立できるか？
• RQ3 圧縮センシング、部分空間埋め込み、多様体学習の既存の結果を、単一の理論的枠組みで定性的に統合できるか？
• RQ4 現在の境界の定量的限界は何か？また、マジョライジング測度やエントロピーの双対性の改善を用いて、対数的損失を回避できる領域はどこか？
• RQ5 二部正則グラフなどの代替的なグラフ構造が、特定のデータセット $ T $ に対して $ s $ と $ m $ のより良い境界をもたらすか？

主な発見

• 必要な列ごとの非ゼロ要素数 $ s $ とターゲット次元 $ m $ は、集合 $ T $ の新しい幾何的複雑度パラメータに依存し、その本質的構造を捉えている。
• $ k $-スパースなベクトルに対して、$ m \gtrsim k(\log n)^2 $ および $ s \gtrsim (\log n)^2 $ が、高確率で $ \varepsilon $-ノルム保存に十分であることが示された。
• $ d $-次元の線形部分空間に対しては、$ m \gtrsim d(\log n)^2 $ かつ $ s \gtrsim (\log n)^2 $ が要求され、既知の境界と対数因子を除いて一致する。
• 多様体 $ \mathcal{M} $ に対して、$ \Phi $ がすべての単位接ベクトルのノルムを $ 1\pm\varepsilon $ 以内に保つならば、高確率で測地的距離も $ 1+\varepsilon $ 以内に保たれる。
• 現在の境界がチェインジとエントロピー数の双対性に起因する対数的損失を抱えていることが同定され、改善された技法により、$ s \sim \varepsilon^{-1} $ の線形依存性が得られる可能性が示唆された。
• マジョライジング測度論の使用により、$ \gamma_2 $ 機能の境界における対数的損失を回避でき、$ \varepsilon $ および $ n $ への依存性が改善される可能性がある。