[论文解读] Adaptive Geometric Multiscale Approximations for Intrinsically Low-dimensional Data

Wenjing Liao, Mauro Maggioni|arXiv (Cornell University)|Nov 3, 2016

Advanced Numerical Analysis Techniques参考文献 44被引用 10

一句话总结

该论文提出了一种自适应几何多尺度近似（自适应 GMRA），用于几乎支撑在低维流形上的高维数据，通过在几何小波系数上应用阈值化算法，实现数据驱动的快速字典学习，时间复杂度为 $ Cn\log n $。该方法在一般几何假设下提供近似保证，包括跨尺度的可变正则性，并对一大类测度实现最优收敛速率。

ABSTRACT

We consider the problem of efficiently approximating and encoding high-dimensional data sampled from a probability distribution $ρ$ in $\mathbb{R}^D$, that is nearly supported on a $d$-dimensional set $\mathcal{M}$ - for example supported on a $d$-dimensional Riemannian manifold. Geometric Multi-Resolution Analysis (GMRA) provides a robust and computationally efficient procedure to construct low-dimensional geometric approximations of $\mathcal{M}$ at varying resolutions. We introduce a thresholding algorithm on the geometric wavelet coefficients, leading to what we call adaptive GMRA approximations. We show that these data-driven, empirical approximations perform well, when the threshold is chosen as a suitable universal function of the number of samples $n$, on a wide variety of measures $ρ$, that are allowed to exhibit different regularity at different scales and locations, thereby efficiently encoding data from more complex measures than those supported on manifolds. These approximations yield a data-driven dictionary, together with a fast transform mapping data to coefficients, and an inverse of such a map. The algorithms for both the dictionary construction and the transforms have complexity $C n \log n$ with the constant linear in $D$ and exponential in $d$. Our work therefore establishes adaptive GMRA as a fast dictionary learning algorithm with approximation guarantees. We include several numerical experiments on both synthetic and real data, confirming our theoretical results and demonstrating the effectiveness of adaptive GMRA.

研究动机与目标

• 开发一种针对几乎支撑在低维流形上的高维数据的快速、数据自适应的字典学习方法。
• 通过在几何小波系数上引入阈值化，将传统 GMRA 扩展为可适应局部正则性及跨尺度变化平滑度的方法。
• 在一般几何假设（包括非均匀正则性及近似支撑于流形上）下，建立自适应 GMRA 的理论近似误差界。
• 提供一种计算高效的框架，时间复杂度为 $ Cn\log n $，在环境维数 $ D $ 上线性，在内在维数 $ d $ 上呈指数增长。
• 通过理论分析和在合成数据与真实世界数据上的数值实验，证明自适应 GMRA 的有效性。

提出的方法

• 提出自适应 GMRA 作为几何多尺度近似的阈值化版本，其中基于样本量 $ n $ 的通用函数对小波系数进行阈值化。
• 使用覆盖树算法对数据进行多尺度树分解，每个尺度上的二进制单元构成数据集的划分。
• 在每个二进制单元内应用主成分分析（PCA），以构建底层流形 $ \mathcal{M} $ 的局部 $ d $-维近似。
• 在几何小波系数上引入阈值规则，仅选择显著的近似分量，从而生成稀疏、数据驱动的表示。
• 采用快速变换将数据映射为系数，并通过其逆变换实现重建，两者均可在 $ Cn\log n $ 时间内完成。
• 理论分析依赖于对单元覆盖和系数估计的概率界，使用集中不等式和几何测度论。

实验结果

研究问题

• RQ1 自适应 GMRA 是否能对具有跨尺度和位置可变正则性的数据测度实现最优近似速率？
• RQ2 几何小波系数上的阈值规则如何影响最终字典的近似误差和稀疏性？
• RQ3 对于支撑在 $ d $-维流形附近且满足 $ d \ll D $ 的测度，自适应 GMRA 的理论收敛速率是多少？
• RQ4 自适应 GMRA 的计算复杂度如何随样本量 $ n $、环境维数 $ D $ 和内在维数 $ d $ 变化？
• RQ5 在复杂、非均匀的数据分布下，自适应 GMRA 是否能在近似精度和效率方面优于标准 GMRA 及其他字典学习方法？

主要发现

• 自适应 GMRA 对具有 H\ 的测度实现了 $ \mathcal{O}\left(\left(\frac{\log^5 n}{n}\right)^{\frac{s}{2s + d - 2}}\right) $ 的近似误差速率。
• 该方法确保以高概率，尺度 $ j^* $ 上显著单元的数量足够多，从而实现稳定近似，如引理 34 所示。
• 经验自适应正交 GMRA 的误差界呈 $ \mathcal{O}\left(\left(\frac{\log^5 n}{n}\right)^{\frac{2s}{2s + d - 2}}\right) $ 的形式，与在正则性假设下的理论速率一致。
• 字典构建和变换的计算复杂度均为 $ Cn\log n $，其中常数在 $ D $ 上线性，在 $ d $ 上呈指数增长，因此适用于高维数据。
• 数值实验表明，自适应 GMRA 在编码复杂、非均匀正则数据方面优于标准 GMRA 及其他方法。
• 基于 $ \tau_n^o $ 的阈值规则（$ n $ 的通用函数）确保了在具有不同局部平滑度的各类数据测度上的鲁棒性。