[论文解读] Minimax-optimal rates for sparse additive models over kernel classes via convex programming

Garvesh Raskutti, Martin J. Wainwright+1 more|arXiv (Cornell University)|Aug 21, 2010

Statistical Methods and Inference参考文献 30被引用 17

一句话总结

本文提出一种结合核正则化与ℓ₁惩罚的凸优化方法，用于在高维设置下估计稀疏加法模型。该方法在L²(𝐏)和L²(𝐏ₙ)范数下建立了极小极大最优收敛速率，证明了该方法在包括多项式、样条函数和Sobolev类在内的广泛一元函数空间类中实现了最佳可能的误差率。

ABSTRACT

Sparse additive models are families of $d$-variate functions that have the additive decomposition $f^* = \sum_{j \in S} f^*_j$, where $S$ is an unknown subset of cardinality $s \ll d$. In this paper, we consider the case where each univariate component function $f^*_j$ lies in a reproducing kernel Hilbert space (RKHS), and analyze a method for estimating the unknown function $f^*$ based on kernels combined with $\ell_1$-type convex regularization. Working within a high-dimensional framework that allows both the dimension $d$ and sparsity $s$ to increase with $n$, we derive convergence rates (upper bounds) in the $L^2(\mathbb{P})$ and $L^2(\mathbb{P}_n)$ norms over the class $\MyBigClass$ of sparse additive models with each univariate function $f^*_j$ in the unit ball of a univariate RKHS with bounded kernel function. We complement our upper bounds by deriving minimax lower bounds on the $L^2(\mathbb{P})$ error, thereby showing the optimality of our method. Thus, we obtain optimal minimax rates for many interesting classes of sparse additive models, including polynomials, splines, and Sobolev classes. We also show that if, in contrast to our univariate conditions, the multivariate function class is assumed to be globally bounded, then much faster estimation rates are possible for any sparsity $s = Ω(\sqrt{n})$, showing that global boundedness is a significant restriction in the high-dimensional setting.

研究动机与目标

• 建立高维非参数回归中稀疏加法模型的极小极大最优收敛速率。
• 分析一种结合最小二乘损失与核诱导函数空间上ℓ₁正则化的凸优化方法。
• 推导估计误差在经验与总体L²范数下的紧致上界。
• 通过建立匹配的极小极大下界，证明所提方法的最优性。
• 研究在高维情形下全局有界性假设对估计速率的影响。

提出的方法

• 该方法采用包含两个ℓ₁惩罚项的凸优化框架：一个作用于L²(𝐏ₙ)范数，另一个作用于一元分量函数的RKHS范数。
• 通过在各一元RKHS单位球内函数类上求解带正则化的最小二乘问题，来估计稀疏加法函数f* = ∑_{j∈S} f_j^*。
• 分析利用高斯复杂度与Rademacher复杂度控制经验过程，通过对称化与链式不等式推导出界。
• 该方法假设核函数有界，且RKHS中的一元分量函数满足特征值衰减μ_k ≃ k^{-2α}，从而控制逼近误差。
• 通过在函数范数半径上应用剥皮论证法，推导出估计误差的高概率界。
• 理论保证在高维渐近尺度下成立，其中维度d与稀疏度s随样本量n一同增长。

实验结果

研究问题

• RQ1 当分量函数属于再生核希尔伯特空间时，稀疏加法模型的极小极大最优收敛速率是什么？
• RQ2 在高维设置下，带有ℓ₁正则化的凸优化方法能否实现这些最优速率？
• RQ3 与一元RKHS约束相比，多元函数类的全局有界性假设如何影响估计速率？
• RQ4 特征值衰减（μ_k ≃ k^{-2α}）在决定估计量收敛速率方面起什么作用？
• RQ5 估计误差的上界是否紧致？是否与极小极大下界匹配？

主要发现

• 所提方法在L²(𝐏)与L²(𝐏ₙ)范数下均实现了稀疏加法模型的极小极大最优收敛速率，且一元分量属于RKHS。
• 当RKHS核的特征值衰减为μ_k ≃ k^{-2α}时，估计误差的上界为O(√(s log s / n)^{1/α})，与极小极大下界匹配。
• 对于多项式、样条函数与Sobolev类，该方法实现了最优收敛速率，证实其对光滑性类别的自适应性。
• 当多元函数类具有全局有界性时，若s = Ω(√n)，可实现更快的O(1/√n)速率，表明在高维中全局有界性是强约束条件。
• 分析表明，所提估计量在极小极大意义下是最优的，上下界仅相差常数因子。
• 该方法以多项式时间计算实现这些速率，使其在高维问题中具有计算可行性。