[论文解读] Finite mixture regression: A sparse variable selection by model selection for clustering

Émilie Devijver|arXiv (Cornell University)|Sep 4, 2014

Bayesian Methods and Mixture Models参考文献 13被引用 5

一句话总结

该论文提出了一种高维设置下有限混合回归模型的稀疏变量选择方法，结合L1惩罚最大似然估计与模型选择，以识别用于聚类的相关协变量。在Jensen-Kullback-Leibler损失下，通过适配随机模型集合的非渐近模型选择定理，建立了该估计量的oracle不等式。

ABSTRACT

We consider a finite mixture of Gaussian regression model for high- dimensional data, where the number of covariates may be much larger than the sample size. We propose to estimate the unknown conditional mixture density by a maximum likelihood estimator, restricted on relevant variables selected by an 1-penalized maximum likelihood estimator. We get an oracle inequality satisfied by this estimator with a Jensen-Kullback-Leibler type loss. Our oracle inequality is deduced from a general model selection theorem for maximum likelihood estimators with a random model collection. We can derive the penalty shape of the criterion, which depends on the complexity of the random model collection.

研究动机与目标

• 解决协变量数量超过样本量的高维数据聚类挑战。
• 开发一种可同时选择相关变量并估计混合成分以实现聚类的方法。
• 在高维情形下为变量选择与聚类性能提供理论保证。
• 将非渐近模型选择理论扩展至基于Lasso变量选择生成的随机模型集合。
• 提供一种惩罚准则，实现在有限样本设置下的oracle效率。

提出的方法

• 构建一个高斯回归模型的有限混合模型，其中每个分量对应一个具有特定回归系数的聚类。
• 使用L1惩罚最大似然估计选择相关变量，降低维度并强制稀疏性。
• 基于Lasso识别出的活跃集构建随机模型集合，形成数据驱动的候选模型。
• 应用最大似然估计的一般模型选择定理，推导出具有数据驱动惩罚形状的惩罚准则。
• 使用括号熵和熵熵对模型集合的熵进行有界，从而导出依赖复杂度的惩罚项。
• 推导出依赖于活跃集维度和聚类数量的惩罚函数，确保oracle不等式成立。

实验结果

研究问题

• RQ1 能否在高维有限混合回归模型中同时实现变量选择与聚类？
• RQ2 如何设计一种惩罚准则，以确保此类模型在模型选择中具有非渐近最优性？
• RQ3 在高维稀疏条件下，所提出估计量的理论性能保证（如oracle不等式）是什么？
• RQ4 由于Lasso选择导致的模型集合随机性，如何影响模型选择定理与惩罚设计？
• RQ5 惩罚项对聚类数量与活跃变量集大小的依赖关系如何？

主要发现

• 在Jensen-Kullback-Leibler型损失下，为所提出的估计量建立了oracle不等式，表明估计风险被最优风险乘以对数因子所有界。
• 惩罚形状源自随机模型集合的复杂度，依赖于聚类数 $k$ 与活跃变量集大小 $|J|$，其中 $D_{(k,J)} = k(1 + |J|)$。
• 使用括号熵对模型集合的熵进行有界，其界依赖于 $k$、$|J|$ 与模型参数范围。
• 将非渐近模型选择定理扩展至处理随机模型集合，推广了先前针对确定性集合的结果。
• 证明惩罚项的阶为 $\sqrt{D_{(k,J)} \log(1/\sigma)}$，在适当条件下确保模型选择的一致性。
• 所有模型上指数权重之和被有界于2，支持了该惩罚在模型选择框架中的有效性。