[论文解读] Learning Polynomials of Few Relevant Dimensions

Sitan Chen, Raghu Meka|arXiv (Cornell University)|Apr 28, 2020

Advanced X-ray Imaging Techniques参考文献 75被引用 4

一句话总结

该论文提出了一种新颖的算法，用于在高斯协变量下学习低秩多项式——即仅依赖于 $ r \ll n $ 个相关维度的 $ d $ 次多项式。该方法结合了过滤主成分分析（filtered PCA）以获得良好的初始值，并采用测地线随机黎曼梯度下降（geodesic stochastic Riemannian gradient descent），实现了样本复杂度 $ O_{r,d}(n\log^2(1/\epsilon)(\log n)^d) $ 和运行时间 $ O_{r,d}(Nn^2) $，当 $ r $ 较小时，显著优于标准的 $ n^d $ 复杂度。

ABSTRACT

Polynomial regression is a basic primitive in learning and statistics. In its most basic form the goal is to fit a degree $d$ polynomial to a response variable $y$ in terms of an $n$-dimensional input vector $x$. This is extremely well-studied with many applications and has sample and runtime complexity $Θ(n^d)$. Can one achieve better runtime if the intrinsic dimension of the data is much smaller than the ambient dimension $n$? Concretely, we are given samples $(x,y)$ where $y$ is a degree at most $d$ polynomial in an unknown $r$-dimensional projection (the relevant dimensions) of $x$. This can be seen both as a generalization of phase retrieval and as a special case of learning multi-index models where the link function is an unknown low-degree polynomial. Note that without distributional assumptions, this is at least as hard as junta learning. In this work we consider the important case where the covariates are Gaussian. We give an algorithm that learns the polynomial within accuracy $ε$ with sample complexity that is roughly $N = O_{r,d}(n \log^2(1/ε) (\log n)^d)$ and runtime $O_{r,d}(N n^2)$. Prior to our work, no such results were known even for the case of $r=1$. We introduce a new filtered PCA approach to get a warm start for the true subspace and use geodesic SGD to boost to arbitrary accuracy; our techniques may be of independent interest, especially for problems dealing with subspace recovery or analyzing SGD on manifolds.

研究动机与目标

• 解决高环境维数 $ n $ 但内在维数 $ r $ 较小的多项式回归问题，其中多项式仅依赖于输入的 $ r $ 个相关投影。
• 通过利用数据中的低秩结构，克服标准多项式回归中 $ n^d $ 的样本与运行时间复杂度。
• 设计一种高效算法，在高斯协变量假设下，实现对 $ n $ 的近线性依赖，以及对 $ r $ 和 $ d $ 的多项式依赖。
• 在 $ \epsilon $-精度范围内，准确恢复隐藏子空间 $ U^* $ 和连接多项式 $ p $。
• 在存在噪声和有限样本的情况下，为子空间与系数估计提供样本复杂度、运行时间与收敛性的理论保证。

提出的方法

• 提出一种过滤主成分分析方法，通过在数据矩阵上使用截断奇异值分解，识别出接近真实 $ r $-维隐藏子空间 $ U^* $ 的子空间，从而获得良好的初始值。
• 在格拉斯曼流形上应用测地线随机黎曼梯度下降（GeoSGD），利用子空间的黎曼几何结构，确保收敛性。
• 采用两阶段优化：首先通过 SubspaceDescent 恢复子空间 $ V^{(t)} $，然后在当前子空间上使用 RealignPolynomial 重新估计多项式系数 $ \mathbf{c} $。
• 引入一种新型基于普罗克拉斯忒斯（Procrustes）的距离度量 $ d_P(V, V^*) $，用于追踪子空间误差，并确保收敛至真实子空间。
• 利用鞅集中不等式与埃爾米特多项式展开，控制梯度估计中的误差，并确保高概率收敛保证。
• 设计一种自适应终止条件，能根据子空间精度动态调整：若子空间已足够接近，则算法提前终止，无需进一步优化。

实验结果

研究问题

• RQ1 当底层多项式仅依赖于 $ r \ll n $ 个相关维度时，是否可能实现样本与运行时间复杂度在环境维数 $ n $ 上亚二次的多项式回归？
• RQ2 在仅假设连接函数为低次多项式的情况下，是否可能在高斯协变量下实现低秩多项式的高效学习，而无需对链接函数施加额外分布假设？
• RQ3 如何通过单一算法框架，同时以高精度恢复隐藏子空间 $ U^* $ 和链接多项式 $ p $？
• RQ4 在低秩多项式回归设置下，样本复杂度、运行时间与精度之间的最优权衡是什么？
• RQ5 测地线随机梯度下降在格拉斯曼流形上是否能有效用于高维数据中低维子空间的恢复，并具备可证明的收敛性保证？

主要发现

• 所提算法实现了样本复杂度 $ O_{r,d}(n\log^2(1/\epsilon)(\log n)^d) $，该复杂度在 $ n $ 上为多项式且与 $ n^d $ 无关，显著优于标准的 $ n^d $ 复杂度。
• 运行时间为 $ O_{r,d}(Nn^2) $，其中 $ N $ 为样本复杂度，因此在 $ r $ 较小且 $ d $ 适中时具有高效性。
• 该算法保证估计的子空间 $ V^{(T)} $ 满足 $ d_P(V^{(T)}, V^*) \leq \epsilon $，且高概率成立，迭代次数为 $ T = \alpha^{-1} \log(1/\epsilon) $。
• 在 $ T $ 次迭代后，链接多项式的系数向量 $ \mathbf{c} $ 满足 $ \|\mathbf{c}^{(T)} - \mathbf{c}^*\|_2 \leq \epsilon $，确保了多项式恢复的准确性。
• 通过局部光滑性与黎曼优化景观的曲率分析，建立了理论保证，并对梯度估计的高概率集中性提供了边界。
• 该方法对初始化具有鲁棒性：即使初始子空间远离 $ V^* $，算法仍能以线性速率 $ 1 - \alpha $ 收敛至真实子空间，其中 $ \alpha $ 依赖于条件数与问题参数。