[论文解读] Learning Exponential Families in High-Dimensions: Strong Convexity and Sparsity

Sham M. Kakade, Ohad Shamir+2 more|arXiv (Cornell University)|Oct 31, 2009

Sparse and Compressive Sensing TechniquesEngineering参考文献 9被引用 22

一句话总结

该论文为一般指数族建立了强凸性条件，使得在高维设置下能够对 $L_1$-正则化估计进行非渐近分析。结果表明，在充分统计量的矩增长条件较弱时，一旦达到一个可量化的‘预热’样本量，预测损失即表现为强凸函数，从而实现预测损失与估计误差的 $O(s \log p / n)$ 收敛速率，且通过两阶段程序可获得大小为 $O(s)$ 的稀疏模型。

ABSTRACT

The versatility of exponential families, along with their attendant convexity properties, make them a popular and effective statistical model. A central issue is learning these models in high-dimensions, such as when there is some sparsity pattern of the optimal parameter. This work characterizes a certain strong convexity property of general exponential families, which allow their generalization ability to be quantified. In particular, we show how this property can be used to analyze generic exponential families under L_1 regularization.

研究动机与目标

• 为高维设置下 $p \gg n$ 的一般指数族刻画其强凸性特性。
• 量化预测损失表现出强凸函数行为所需的样本量，类似于优化中的‘预热’阶段。
• 将 $L_1$-正则化分析从线性模型扩展至一般指数族，建立预测误差与估计误差的收敛速率。
• 提出一种两阶段程序，获得具有 $O(s)$ 个非零特征的稀疏模型，并实现近似最优风险。
• 将收敛速率与指数族的内在属性（如标准化矩与费舍尔信息量）相关联。

提出的方法

• 引入对充分统计量的标准化矩与累积量的增长条件，从而量化预测损失中的强凸性。
• 利用充分统计量的次高斯浓度界，控制经验期望与其真实值之间的偏差。
• 采用两阶段估计程序：首先使用 $L_1$ 正则化进行估计，然后在系数估计值较大的坐标集合上重新拟合。
• 在设计矩阵上应用受限特征值（RE）条件，以确保稀疏恢复，并控制费舍尔信息矩阵的条件数。
• 利用费舍尔信息矩阵的 $\kappa_{\min}^*$ 与 $\kappa_{\max}^*$ 参数，推导估计误差 $\|\hat{\theta} - \theta^*\|_{\mathcal{F}^*}^2$ 与 $\ell_1$-误差的非渐近界。
• 证明在适当的阈值设定与正则化条件下，最终的稀疏估计 $\tilde{\theta}$ 的支撑集大小至多为 $2s$。

实验结果

研究问题

• RQ1 样本量 $n$ 相对于维度 $p$ 的增长速度需多快，才能使一般指数族的预测损失表现出强凸性？
• RQ2 一般指数族中的 $L_1$-正则化估计是否能实现与线性回归相同的 $O(s \log p / n)$ 收敛速率？
• RQ3 对充分统计量施加何种条件，可确保在某一特定样本量之后，经验对数似然变为强凸函数？
• RQ4 两阶段程序是否能恢复一个具有 $O(s)$ 个非零特征的稀疏模型，同时保持较低的预测风险？
• RQ5 费舍尔信息矩阵的条件数如何影响一般指数族中 $L_1$-正则化估计的稀疏性与准确性？

主要发现

• 一般指数族的预测损失在样本量超过依赖于标准化矩与累积量增长速率的阈值后，即表现出强凸性，从而量化了‘预热’阶段。
• 在充分统计量满足次高斯条件时，$L_1$-正则化估计器以高概率实现预测损失的 $O(s \log p / n)$ 上界。
• $L_1$-误差被限制在 $O(\sigma s / \kappa_{\min}^{*2} \sqrt{\log p / n})$ 之内，其中 $\kappa_{\min}^*$ 是费舍尔信息矩阵的最小特征值。
• 两阶段程序生成的估计 $\tilde{\theta}$ 至多包含 $2s$ 个非零条目，且预测风险被限制在 $O((\kappa_{\max}^*/\kappa_{\min}^*)^2 \cdot s \sigma^2 \log p / n)$ 之内。
• 可靠估计所需的样本量满足 $n \geq K \alpha^{*2} \sigma^2 \log(p/\delta) \cdot \max\{ s \kappa_{\max}^{*2} / \kappa_{\min}^{*4}, \alpha^{*2} \|\theta^*\|_1^2 \}$，其中 $\alpha^*$ 是 $\theta^*$ 的解析标准化矩。
• 最终的稀疏估计 $\tilde{\theta}$ 实现的风险界与最优的 $O(s \log p / n)$ 速率相差一个常数因子，仅受条件数惩罚的影响。