[论文解读] Pac-bayesian bounds for sparse regression estimation with exponential weights

Pierre Alquier, Karim Lounici|Sep 14, 2010

Statistical Methods and Inference被引用 5

一句话总结

该论文提出了一种用于高维稀疏回归（$ p > n $）的新颖指数权重估计器，利用 PAC-Bayesian 不等式实现更优的统计性能。在温和的设计假设下，建立了真实过失风险的稀疏性 oracle 不等式（概率意义下），并给出了预测风险的显式界，其随稀疏度水平 $ p_0 $ 和样本量 $ n $ 呈有利缩放。

ABSTRACT

We consider the sparse regression model where the number of parameters $p$ is larger than the sample size $n$. The difficulty when considering high-dimensional problems is to propose estimators achieving a good compromise between statistical and computational performances. The BIC estimator for instance performs well from the statistical point of view \cite{BTW07} but can only be computed for values of $p$ of at most a few tens. The Lasso estimator is solution of a convex minimization problem, hence computable for large value of $p$. However stringent conditions on the design are required to establish fast rates of convergence for this estimator. Dalalyan and Tsybakov \cite{arnak} propose a method achieving a good compromise between the statistical and computational aspects of the problem. Their estimator can be computed for reasonably large $p$ and satisfies nice statistical properties under weak assumptions on the design. However, \cite{arnak} proposes sparsity oracle inequalities in expectation for the empirical excess risk only. In this paper, we propose an aggregation procedure similar to that of \cite{arnak} but with improved statistical performances. Our main theoretical result is a sparsity oracle inequality in probability for the true excess risk for a version of exponential weight estimator. We also propose a MCMC method to compute our estimator for reasonably large values of $p$.

研究动机与目标

• 解决参数数量 $ p $ 超过样本量 $ n $ 的高维回归问题，该情形下经典估计器（如 Lasso）面临局限。
• 通过提出一种平衡计算可行性与强理论性能的指数权重估计器，克服现有方法在计算与统计性能之间的权衡。
• 在概率意义下建立真实过失风险的稀疏性 oracle 不等式，改进了以往仅提供期望界的结果。
• 提供一个理论框架，确保估计器的预测性能可接近已知真实稀疏支撑的 oracle 估计器。
• 在对设计矩阵的弱假设下分析估计器，避免 Lasso 类方法为实现快速收敛率所需的严格条件。

提出的方法

• 使用指数权重定义回归系数上的后验分布，其中每个系数向量 $ \theta $ 的权重与 $ \exp(-\lambda r(\theta)) $ 成比例，$ r(\theta) $ 为经验风险。
• 应用 PAC-Bayesian 不等式，推导出过失风险 $ R(\hat{\theta}) - R(\bar{\theta}) $ 的高概率界，其中 $ \hat{\theta} $ 为指数权重估计器，$ \bar{\theta} $ 为最优参数。
• 引入截断参数空间 $ \Theta_{K+1} $ 以控制假设类的复杂度，将关注范围限制在最多含 $ K+1 $ 个非零条目的向量上。
• 结合浓度不等式与 Jensen 不等式，控制风险差值的矩生成函数，从而实现高概率界。
• 推导出依赖于稀疏度水平 $ |J(\bar{\theta})| = p_0 $、样本量 $ n $ 以及 $ p $、$ K $ 和置信水平对数项的预测风险界。
• 优化正则化参数 $ \lambda $ 以平衡偏差与方差，最终设定 $ \lambda = n/(2\mathcal{C}_1) $ 以实现最优收敛速率。

实验结果

研究问题

• RQ1 在温和的设计假设下，指数权重估计器能否在高维稀疏回归（$ p > n $）中实现概率意义下的稀疏性 oracle 不等式？
• RQ2 在高维设置下，该估计器与 Lasso 相比在统计性能和计算可行性方面有何差异？
• RQ3 在指数权重框架中，平衡偏差与方差的正则化参数 $ \lambda $ 的最优选择是什么？
• RQ4 PAC-Bayesian 理论能否有效应用于推导稀疏回归估计器真实过失风险的高概率界？
• RQ5 预测风险对稀疏度水平 $ p_0 $、样本量 $ n $ 和维度 $ p $ 的显式依赖关系及其缩放特性如何？

主要发现

• 所提出的指数权重估计器实现了概率意义下的稀疏性 oracle 不等式：以至少 $ 1 - \varepsilon $ 的概率，真实过失风险被限制在 $ R(\bar{\theta}) + \mathcal{O}\left(\frac{p_0 \log(p/n)}{n}\right) $ 以内，其中 $ p_0 $ 为非零系数的数量。
• 该界包含一项 $ \frac{3L^2}{n^2} $，用于衡量由于经验风险导致的估计误差，当 $ n \to \infty $ 时该误差项趋于零。
• 最终的高概率界缩放为 $ \frac{8\mathcal{C}_1}{n} \left( |J(\bar{\theta})| \log(K+1) + |J(\bar{\theta})| \log\left(\frac{enp}{\alpha|J(\bar{\theta})|}\right) + \log\left(\frac{2}{\varepsilon(1 - \alpha)}\right) \right) $，显示出对 $ p_0 $ 和 $ n $ 的有利依赖。
• 该方法在无需强假设（如 Lasso 所需的受限 eigenvalue 条件）的设计矩阵下，实现了近乎 oracle 的性能。
• 分析表明，该估计器在 $ p $ 较大时仍具有计算可行性，因其避免了组合优化，依赖于凸指数加权。
• 最终界为非渐近且以高概率成立，提供了比以往期望结果更紧的有限样本保证。