[论文解读] An Adaptive LASSO-Penalized BIC

Sakyajit Bhattacharya, Paul D. McNicholas|arXiv (Cornell University)|Jun 5, 2014

Blind Source Separation Techniques参考文献 22被引用 9

一句话总结

本文提出了一种自适应LASSO惩罚的贝叶斯信息准则（ALPBIC），以改进高维混合模型中的模型选择，特别适用于简约型因子分析混合模型。通过将自适应LASSO惩罚整合到BIC框架中，ALPBIC在样本量增加时能够一致地选择出真实的分量数量和协方差结构，优于传统BIC和LASSO惩罚BIC。在模拟数据和真实数据（如白血病数据）中，ALPBIC表现出更高的分类准确率（ARI = 0.51）。

ABSTRACT

Mixture models are becoming a popular tool for the clustering and classification of high-dimensional data. In such high dimensional applications, model selection is problematic. The Bayesian information criterion, which is popular in lower dimensional applications, tends to underestimate the true number of components in high dimensions. We introduce an adaptive LASSO-penalized BIC (ALPBIC) to mitigate this problem. This efficacy of the ALPBIC is illustrated via applications of parsimonious mixtures of factor analyzers. The selection of the best model by ALPBIC is shown to be consistent with increasing numbers of observations based on simulated and real data analyses.

研究动机与目标

• 解决BIC在高维模型聚类中低估真实分量数量的已知问题。
• 克服LASSO惩罚BIC（LPBIC）因未能满足oracle性质而导致缺乏一致性的局限性。
• 开发一种模型选择准则，确保在高维设置下具有一致性、稀疏性和渐近正态性。
• 展示自适应LASSO惩罚相较于标准LASSO在实现混合模型一致模型选择方面的优越性。

提出的方法

• 提出使用自适应LASSO惩罚的惩罚对数似然函数：$\mathcal{L}_{\text{pen}}(\boldsymbol{\vartheta}|\mathbf{x}) = \log\mathcal{L}(\boldsymbol{\vartheta}|\mathbf{x}) - \sum_{g=1}^{G} \pi_g \sum_{j=1}^{p} \varphi(\mu_{gj})$，其中 $\varphi(\mu_{gj}) = n\lambda_n w_{gj} |\mu_{gj}|$。
• 基于 $\sqrt{n}$-一致的初始估计 $\tilde{\mu}_{gj}$ 使用自适应权重 $w_{gj} = |\tilde{\mu}_{gj}|^{-\gamma}$，以确保oracle性质。
• 推导ALPBIC准则为 $\text{ALPBIC} = 2\log\mathcal{L}(\hat{\boldsymbol{\vartheta}}) - \tilde{\rho}\log n - 2n\lambda_n \sum_{g=1}^{G} \sum_{j=1}^{p_g} w_{gj} |\hat{\mu}_{gj}|$，其中 $\tilde{\rho}$ 为非零估计参数的数量。
• 将ALPBIC应用于简约型高斯有限混合模型，特别是因子分析混合模型，以在降低维度的同时处理高维数据。
• 使用EM算法通过最大化惩罚似然函数来估计参数，从而在高维渐近条件下实现一致估计。
• 通过模拟研究和真实世界数据（如白血病基因表达数据）比较ALPBIC与BIC、AIC、CAIC和LPBIC的性能，评估指标包括调整兰德指数（ARI）和分量选择准确率。

实验结果

研究问题

• RQ1 随着样本量增加，自适应LASSO惩罚BIC能否在高维混合模型中一致地选择出真实的分量数量？
• RQ2 在高维设置下，ALPBIC准则是否在模型选择准确率和分类性能方面优于传统BIC和LPBIC？
• RQ3 与标准LASSO相比，自适应LASSO惩罚在混合模型中能多大程度上提升模型选择的一致性？
• RQ4 在真实高维数据（如基因表达数据）上，ALPBIC在分类准确率和分量结构选择方面的表现如何？
• RQ5 在高维混合建模中，ALPBIC能否在保持一致性和稀疏性的同时满足oracle性质？

主要发现

• 随着样本量增加，ALPBIC能一致地选择出正确的分量数量和协方差结构，表明其在高维设置下具有良好的一致性。
• 在模拟研究中，ALPBIC的平均分类准确率（ARI在0.7至0.85之间）高于BIC、AIC、CAIC和LPBIC，后者的ARI值较低且不够稳定。
• 在白血病数据中，ALPBIC选择了CUC模型，包含$G=2$个分量和$q=2$个因子，ARI达到0.51，优于LPBIC（ARI = 0.47）和BIC（ARI = 0.29）。
• ALPBIC选择的模型在白血病数据集中仅错误分类了10个样本，而LPBIC错误分类11个，BIC错误分类35个，证实了其更优的分类性能。
• ALPBIC在不断增加的样本量下表现出一致的模型选择行为，而LPBIC则表现出不一致性，未能稳定在相同的模型结构上。
• ALPBIC满足oracle性质——一致性、稀疏性和渐近正态性，使其在理论上优于LPBIC，后者因标准LASSO惩罚的局限性而缺乏这些性质。