[论文解读] Dimensionality reduction with subgaussian matrices: a unified theory

Sjoerd Dirksen|arXiv (Cornell University)|Feb 17, 2014

Sparse and Compressive Sensing Techniques参考文献 45被引用 16

一句话总结

本文提出了一套基于子高斯矩阵的降维统一理论框架，通过用覆盖数和曲率等内在复杂度度量替代传统的 |P| 的对数依赖关系，为各类结构化数据集（如稀疏向量、低秩矩阵、张量和光滑流形）建立了最优的 Johnson-Lindenstrauss 嵌入。关键贡献在于提出了一项维度界，相较于先前结果，消除了不必要的 O(log(ε⁻¹)) 因子，并推广至希尔伯特空间中无限个子空间的并集情形。

ABSTRACT

We present a theory for Euclidean dimensionality reduction with subgaussian matrices which unifies several restricted isometry property and Johnson-Lindenstrauss type results obtained earlier for specific data sets. In particular, we recover and, in several cases, improve results for sets of sparse and structured sparse vectors, low-rank matrices and tensors, and smooth manifolds. In addition, we establish a new Johnson-Lindenstrauss embedding for data sets taking the form of an infinite union of subspaces of a Hilbert space.

研究动机与目标

• 在单一理论框架下统一现有关于受限等距性质和 Johnson-Lindenstrauss 结果的成果，适用于各类结构化数据集。
• 用覆盖数和曲率等内在复杂度度量替代基于基数的维度界 log|P|，以获得更精确和更紧致的边界。
• 为希尔伯特空间中无限个子空间并集的数据集建立新的 Johnson-Lindenstrauss 嵌入。
• 通过消除先前结果中维度要求里存在的 O(log(ε⁻¹)) 因子，改进已有成果。

提出的方法

• 该框架使用具有独立同分布 i.i.d. 入的子高斯随机矩阵，其均值为零、方差为 1，且为 α-子高斯分布，并通过 1/√m 缩放以保证范数保持。
• 应用泛化链和泛化度量熵技术，对数据集在欧氏距离和 Fin 型度量下的覆盖数进行有界。
• 利用流形的曲率 τ 控制曲率，并推导出弦集的度量熵边界。
• 引入相对于 Fin 度量的 v-网概念，并通过曲率约束将其与标准 d₂ 度量关联。
• 分析使用 γ₂泛函及其与度量熵的等价性，通过集中不等式推导维度边界。
• 通过计算各类数据结构（稀疏向量、低秩矩阵、张量和光滑流形）的相应复杂度参数，将该理论应用于多种数据结构。

实验结果

研究问题

• RQ1 能否通过单一理论框架，统一适用于各类结构化数据集的 Johnson-Lindenstrauss 与受限等距性质结果？
• RQ2 在基于内在复杂度而非基数的前提下，子高斯矩阵为保持结构化数据集中成对距离，所需的最优维度 m 是多少？
• RQ3 Johnson-Lindenstrauss 嵌入如何推广至希尔伯特空间中无限个子空间的并集？
• RQ4 对于光滑流形和结构化稀疏集合，能否消除先前维度边界中存在的 O(log(ε⁻¹)) 因子？
• RQ5 流形的曲率 τ 在决定子高斯矩阵嵌入维度方面起什么作用？

主要发现

• 对于具有曲率 τ 的 K 维 C∞-流形 M，且在 d₂ 度量下覆盖维数为 K₂，则在高概率下所需嵌入维度满足 m ≥ Cα²ε⁻² max{K₂ log⁺(τ⁻¹Δd₂(M)) + K, log(η⁻¹)}。
• 当已知流形的体积 V_M 时，边界变为 m ≥ Cα²ε⁻² max{K log⁺(Kτ⁻¹) + K + log⁺(V_M), log(η⁻¹)}。
• 该理论改进了 [5, 定理 3.1]，提供了更紧致的边界，避免了早期结果中固有的 O(log(ε⁻¹)) 因子。
• 该方法消除了先前依赖于高斯或子高斯集中不等式的证明中固有的 O(log(ε⁻¹)) 维度边界依赖。
• 对于光滑流形，通过一种新颖的链式论证，将 Fin 度量与标准 d₂ 度量通过曲率（曲率 τ）关联，从而获得更优的熵估计。
• 该框架可推广至无限个子空间的并集，并通过使用内在复杂度度量而非基数，恢复并改进了稀疏向量、低秩矩阵和张量的已知结果。