[论文解读] Model-based regression clustering for high-dimensional data. Application to functional data

Émilie Devijver|arXiv (Cornell University)|Sep 4, 2014

Bayesian Methods and Mixture Models参考文献 24被引用 6

一句话总结

本文提出了两种基于模型的回归聚类程序，适用于高维和函数型数据，结合Lasso进行变量选择与低秩惩罚似然估计，以处理稀疏性和矩阵结构。提出了一种数据驱动的模型集合，通过非渐近模型选择（斜率启发式）实现，能够在已知分量数量和稀疏性水平未知的高维回归设置中实现精确聚类与参数估计。

ABSTRACT

Finite mixture regression models are useful for modeling the relationship between response and predictors, arising from different subpopulations. In this article, we study high-dimensional predic- tors and high-dimensional response, and propose two procedures to deal with this issue. We propose to use the Lasso estimator to take into account the sparsity, and a penalty on the rank, to take into account the matrix structure. Then, we extend these procedures to the functional case, where predictors and responses are functions. For this purpose, we use a wavelet-based approach. Finally, for each situation, we provide algorithms, and apply and evaluate our methods both on simulations and real datasets.

研究动机与目标

• 解决预测变量和响应变量均为高维的高维回归数据，需基于异质回归关系进行聚类。
• 构建一个统一的基于模型的回归聚类框架，以处理回归系数中的稀疏性以及系数矩阵中的低秩结构。
• 将现有的Lasso-MLE与降秩回归方法扩展至分量数量未知且含变量选择的有限混合模型。
• 通过小波基表示将方法应用于函数型数据，以诱导稀疏性并保留局部特征。
• 提供一种基于非渐近准则（斜率启发式）的数据驱动模型选择程序，以同时确定分量数量、稀疏性水平与秩。

提出的方法

• 通过调整混合分量数量 $K$、正则化参数 $\lambda$ 以及每个聚类系数矩阵的秩 $R_k$，构建模型集合。
• 使用组Lasso估计器识别每个模型中的相关变量，定义为最小化带 $\ell_1$-范数的组系数惩罚似然函数：$\hat{\theta}^{\text{Group-Lasso}} = \arg\min \left\{ -\frac{1}{n}\sum_{i=1}^n \log(h_\theta(y_i|x_i)) + \lambda \sum_{j=1}^p \sum_{m=1}^q \sqrt{K} \| [\boldsymbol{\Phi}]_{m,j} \|_2 \right\}$。
• 应用广义EM算法，对每个 $K$ 和 $\lambda$ 计算组Lasso估计器，通过迭代更新混合参数。
• 在选定变量上使用最大似然估计（MLE）重新拟合参数，以减少偏差，第二步方法中对系数矩阵秩施加约束。
• 为每个聚类构建一个含秩约束 $R_k$ 的模型子集，使用截断SVD强制对 $\boldsymbol{\Phi}_k$ 实现低秩结构。
• 使用 [Birgé 和 Massart (2007)] 提出的斜率启发式选择最终模型，该方法为整个模型集合提供非渐近模型选择准则。

实验结果

研究问题

• RQ1 如何将基于模型的回归聚类方法扩展至高维预测变量和响应变量，同时处理回归系数中的稀疏性？
• RQ2 能否开发一个统一框架，将变量选择（通过Lasso）与有限混合回归模型中低秩结构估计相结合？
• RQ3 如何以数据驱动、非渐近的方式同时选择分量数量、稀疏性水平与秩？
• RQ4 所提出的方法在函数型数据上的表现如何？小波基表示能否有效诱导此类数据的稀疏性？
• RQ5 在高维设置中，同时采用 $\ell_1$ 与秩约束的惩罚似然方法，对聚类准确性和参数估计有何影响？

主要发现

• 所提出的Lasso-MLE与组Lasso-秩方法在高维回归数据中成功识别出相关变量与聚类结构，即使参数数量超过样本量也表现良好。
• 通过EM更新实现的、数据驱动的正则化参数 $\lambda$ 网格，能够高效探索模型空间，并提升变量选择的稳定性。
• 斜率启发式为从模型集合中选择最优模型提供了可靠且非渐近的准则，平衡了模型复杂度与拟合优度。
• 小波基函数型表示能有效捕捉函数型数据的局部与全局特征，支持稀疏且低秩的回归建模。
• 在系数矩阵具有强低秩结构的情境下，组Lasso-秩方法优于Lasso-MLE，因其显式引入了秩约束。
• 在模拟与真实数据集上的实证评估证实，该方法在高维与函数型设置下，能够准确恢复真实的聚类结构与回归关系。