[論文レビュー] Dimensionality reduction with subgaussian matrices: a unified theory

Sjoerd Dirksen|arXiv (Cornell University)|Feb 17, 2014

Sparse and Compressive Sensing Techniques参考文献 45被引用数 16

ひとこと要約

本稿では、サブガウス型行列を用いた次元削減の包括的理論的枠組みを提示し、スパースベクトル、低ランク行列、テンソル、滑らかな多様体などの多様な構造的データセットに対して、従来の log|P| 依存性を、被覆数やリーチといった内在的複雑度測度に置き換えることで、最適なジョンソン＝リンデンストラウス埋め込みを確立する。主な貢献は、不要な O(log(ε⁻¹)) 要因を排除し、ヒルバート空間内の無限個の部分空間の和集合に対しても一般化可能な次元削減の境界を確立することにある。

ABSTRACT

We present a theory for Euclidean dimensionality reduction with subgaussian matrices which unifies several restricted isometry property and Johnson-Lindenstrauss type results obtained earlier for specific data sets. In particular, we recover and, in several cases, improve results for sets of sparse and structured sparse vectors, low-rank matrices and tensors, and smooth manifolds. In addition, we establish a new Johnson-Lindenstrauss embedding for data sets taking the form of an infinite union of subspaces of a Hilbert space.

研究の動機と目的

• 多様な構造的データセットにおける既存の制限的等長性性質（RIP）とジョンソン＝リンデンストラウス結果を、単一の理論的枠組みで統一すること。
• 集合の基数に基づく次元削減境界 log|P| を、被覆数やリーチといった内在的複雑度測度に置き換えることで、より正確できめの細かい境界を得ること。
• ヒルバート空間内に存在する無限個の部分空間の和集合であるデータセットに対する、新たなジョンソン＝リンデンストラウス埋め込みを確立すること。
• 従来の結果における次元要件に含まれていた O(log(ε⁻¹)) 要因を削除することで、より優れた結果を得ること。

提案手法

• 平均0、分散1、α-サブガウス型の独立同一分布をもつエントリを有するサブガウス型ランダム行列を用い、ノルム保存のため 1/√m でスケーリングする。
• 一般化チェイニングと一般化メトリックエントロピー技法を用いて、ユークリッド距離および Fin 型距離におけるデータセットの被覆数を評価する。
• 多様体のリーチ τ を用いて曲率を制御し、弦の集合のメトリックエントロピーに関する境界を導出する。
• Fin 距離に関する v-ネット の概念を導入し、曲率制約を介して標準的な d₂ 距離と関連付ける。
• γ₂ 機能とそのメトリックエントロピーへの等価性を用い、集中不等式を介して次元削減境界を導出する。
• スパースベクトル、低ランク行列、テンソル、滑らかな多様体といったさまざまなデータ構造に対して、それぞれの複雑度パラメータを計算することで理論を適用する。

実験結果

リサーチクエスチョン

• RQ1 一様な理論的枠組みによって、多様な構造的データセットにおけるジョンソン＝リンデンストラウスと制限的等長性性質の結果を統合できるか？
• RQ2 内在的複雑度（基数ではなく）を用いて、サブガウス型行列が構造的データセットにおける対比較距離を保存するための最適な次元 m は何か？
• RQ3 ヒルバート空間内の無限個の部分空間の和集合に対して、ジョンソン＝リンデンストラウス埋め込みをどのように拡張できるか？
• RQ4 滑らかな多様体および構造的スパース集合に対して、従来の次元削減境界に含まれていた O(log(ε⁻¹)) 要因を削除できるか？
• RQ5 多様体のリーチ τ が、サブガウス型行列の埋め込み次元を決定する上で果たす役割は何か？

主な発見

• C∞-多様体 M が K 次元でリーチ τ、d₂ に関して被覆次元 K₂ を持つ場合、高い確率で必要な埋め込み次元は m ≥ Cα²ε⁻² max{K₂ log⁺(τ⁻¹Δd₂(M)) + K, log(η⁻¹)} である。
• 多様体の体積 V_M が既知である場合、境界は m ≥ Cα²ε⁻² max{K log⁺(Kτ⁻¹) + K + log⁺(V_M), log(η⁻¹)} に改善される。
• 従来の [5, Theorem 3.1] よりもタイトな境界を提供することで、理論が改善されており、以前の結果に見られる O(log(ε⁻¹)) 要因を回避している。
• ガウス型またはサブガウス型集中の結果に依存する従来の証明で内在していた O(log(ε⁻¹)) 依存性を、本手法は次元削減境界から排除している。
• 滑らかな多様体に対しては、曲率（リーチ τ）を介して Fin 距離と標準的 d₂ 距離を関連付ける、新規のチェイニング論法を用いて境界を導出しており、エントロピー推定値が向上している。
• 本理論は無限個の部分空間の和集合へ一般化可能であり、基数ではなく内在的複雑度測度を用いることで、スパースベクトル、低ランク行列、テンソルについて既知の結果を回復し、さらに改善している。