[论文解读] Learning Functions of Few Arbitrary Linear Parameters in High Dimensions

Massimo Fornasier, Karin Schnass+1 more|arXiv (Cornell University)|Aug 18, 2010

Sparse and Compressive Sensing Techniques参考文献 23被引用 5

一句话总结

该论文提出了一种基于压缩感知的方法，用于近似高维函数 $ f(x) = g(Ax) $，其中 $ A $ 是一个 $ k \times d $ 矩阵且 $ k \ll d $，仅通过 $ m $ 个点评估实现。该方法提供了可证明准确、多项式时间的算法，对任意 $ A $ 高概率成立，在 $ g $ 具有光滑性假设下，样本复杂度与 $ d $ 无关，实现一致近似。

ABSTRACT

Let us assume that $f$ is a continuous function defined on the unit ball of $\mathbb R^d$, of the form $f(x) = g (A x)$, where $A$ is a $k imes d$ matrix and $g$ is a function of $k$ variables for $k \ll d$. We are given a budget $m \in \mathbb N$ of possible point evaluations $f(x_i)$, $i=1,...,m$, of $f$, which we are allowed to query in order to construct a uniform approximating function. Under certain smoothness and variation assumptions on the function $g$, and an {\it arbitrary} choice of the matrix $A$, we present in this paper 1. a sampling choice of the points $\{x_i\}$ drawn at random for each function approximation; 2. algorithms (Algorithm 1 and Algorithm 2) for computing the approximating function, whose complexity is at most polynomial in the dimension $d$ and in the number $m$ of points. Due to the arbitrariness of $A$, the choice of the sampling points will be according to suitable random distributions and our results hold with overwhelming probability. Our approach uses tools taken from the {\it compressed sensing} framework, recent Chernoff bounds for sums of positive-semidefinite matrices, and classical stability bounds for invariant subspaces of singular value decompositions.

研究动机与目标

• 解决在使用少量样本近似高维函数时的维度灾难问题。
• 开发一种采样与恢复框架，适用于任意 $ k \times d $ 矩阵 $ A $，不限于结构化或已知子空间。
• 在 $ g $ 具有光滑性条件下，实现 $ f(x) = g(Ax) $ 的一致近似，样本复杂度在 $ d $ 和 $ m $ 上为多项式。
• 确保方法具有鲁棒性和高效性，算法在 $ d $ 和 $ m $ 上为多项式时间复杂度。

提出的方法

• 利用压缩感知原理，从 $ m $ 个随机点评估中恢复 $ f(x) = g(Ax) $。
• 根据 $ A $ 的结构设计分布对 $ x_i $ 进行随机采样，确保对任意 $ A $ 的鲁棒性。
• 应用正定矩阵和的切尔诺夫不等式，控制采样过程中的测度集中现象。
• 利用奇异值分解（SVD）中不变子空间的稳定性界，确保函数结构的准确恢复。
• 设计算法 1 和算法 2 以计算近似函数 $ \hat{f} $，其时间复杂度在 $ d $ 和 $ m $ 上为多项式。
• 使用闵可夫斯基泛函和对偶范数，控制近似误差中与直径相关的增长，尤其针对 $ \Omega = [-1,1]^d $。

实验结果

研究问题

• RQ1 即使 $ A $ 为任意矩阵，是否能仅通过 $ m \ll d $ 个点评估准确近似形式为 $ f(x) = g(Ax) $ 的高维函数？
• RQ2 在 $ g $ 具有光滑性假设下，何种采样策略能对任意 $ A $ 实现高概率的一致近似？
• RQ3 如何在维度灾难的背景下，使近似误差独立于 $ d $？
• RQ4 能否构建计算复杂度在 $ d $ 和 $ m $ 上为多项式，同时保持准确性的恢复算法？
• RQ5 随机矩阵测度集中现象与 SVD 稳定性在确保鲁棒函数恢复中起到何种作用？

主要发现

• 所提出的采样与恢复方法在 $ g $ 具有光滑性和变差性假设下，即使对任意 $ A $，也能以高概率实现 $ f(x) = g(Ax) $ 的一致近似。
• 近似误差被控制在 $ 2C_2(\operatorname{diam}(\Omega)+2\bar{\epsilon})\frac{\nu_1}{\sqrt{\alpha(1-s)}-\nu_1} $ 以内，通过闵可夫斯基泛函技术可独立于 $ d $ 控制。
• 该方法确保实现 $ \varepsilon $-精度所需的样本数 $ m $ 在 $ d $ 和 $ \varepsilon^{-1} $ 上为多项式增长，实现多项式可 tractability。
• 算法 1 和算法 2 在 $ d $ 和 $ m $ 上为多项式时间复杂度，可在高维中实现高效计算。
• 使用正定矩阵的切尔诺夫不等式确保了测度集中，这是采样策略高概率成功的基础。
• 对于 $ \Omega = [-1,1]^d $，闵可夫斯基泛函方法将对偶范数 $ \|\cdot\|_{\Omega}^\prime = \|\cdot\|_{\ell_1^d} $ 中的直径进行有界，避免了 $ \sqrt{d} $ 增长，从而实现与维度无关的误差界。