[论文解读] Estimation and Feature Selection in Mixtures of Generalized Linear Experts Models

Bao Huynh, Faïcel Chamroukhi|arXiv (Cornell University)|Jul 14, 2019

Bayesian Methods and Mixture Models参考文献 34被引用 4

一句话总结

本文提出了一种用于广义线性专家混合模型（MoE）的正则化最大似然估计框架，通过 $λ_1$-惩罚似然实现特征选择，并采用邻近-牛顿期望最大化（EM）算法，在高维设置下实现高效的参数估计。该方法获得稀疏且稳定的解，在恢复真实特征模式和聚类异质回归数据方面优于当前最先进的方法。

ABSTRACT

Mixtures-of-Experts (MoE) are conditional mixture models that have shown their performance in modeling heterogeneity in data in many statistical learning approaches for prediction, including regression and classification, as well as for clustering. Their estimation in high-dimensional problems is still however challenging. We consider the problem of parameter estimation and feature selection in MoE models with different generalized linear experts models, and propose a regularized maximum likelihood estimation that efficiently encourages sparse solutions for heterogeneous data with high-dimensional predictors. The developed proximal-Newton EM algorithm includes proximal Newton-type procedures to update the model parameter by monotonically maximizing the objective function and allows to perform efficient estimation and feature selection. An experimental study shows the good performance of the algorithms in terms of recovering the actual sparse solutions, parameter estimation, and clustering of heterogeneous regression data, compared to the main state-of-the art competitors.

研究动机与目标

• 解决高维广义线性专家混合模型（MoE）中的参数估计与特征选择挑战。
• 克服在预测变量众多且相关时，标准最大似然估计（MLE）存在的不稳定性与稀疏性不足问题。
• 开发一种计算高效的算法，单调最大化正则化目标函数，同时促进稀疏解的生成。
• 将正则化技术（如Lasso、SCAD）扩展至具有广义线性专家的MoE模型，以提升模型可解释性与性能。
• 提供理论与实证验证，证明该算法能够恢复异质数据中的真实稀疏结构。

提出的方法

• 采用带 $λ_1$-范数惩罚的正则化最大似然目标函数，以在专家模型系数中诱导稀疏性。
• 开发一种邻近-牛顿型EM算法，通过求解对数似然函数的序列二次逼近来迭代更新参数。
• 利用泰勒展开在当前参数估计值附近构建对数似然函数的局部二次逼近。
• 针对泊松与多项式输出，推导出近似目标函数的一阶与二阶导数的显式表达式。
• 在邻近-牛顿步骤中采用坐标轴更新策略，确保每次迭代中目标函数单调递增。
• 在优化步骤中使用软阈值化方法以强制实现稀疏性，有效执行特征选择。

实验结果

研究问题

• RQ1 正则化最大似然估计能否改善高维MoE模型中的参数估计与特征选择？
• RQ2 所提出的邻近-牛顿EM算法在高维预测变量存在时是否能单调且高效地收敛？
• RQ3 该算法在恢复异质回归数据中真实稀疏结构方面的性能与当前最先进的方法相比如何？
• RQ4 该方法能否有效处理专家组件中不同指数族分布（如泊松、多项式）？
• RQ5 非凸惩罚（如SCAD）与凸惩罚（如Lasso）对模型选择与估计精度的影响如何？

主要发现

• 所提出的邻近-牛顿EM算法单调增加正则化目标函数，确保稳定收敛。
• 该方法在模拟的高维回归数据中成功恢复了真实的底层稀疏特征模式，在特征选择准确性方面优于竞争方法。
• 对于泊松与多项式输出，该算法在高维设置下相比标准MLE实现了更准确的参数估计并降低了偏差。
• 该算法在聚类异质回归数据方面表现出稳健性能，能正确识别潜在子群体。
• 二次逼近与邻近更新的结合使算法在预测变量数量较大时仍能实现高效计算。
• 实证结果证实，该方法在各种数据配置与噪声水平下均保持良好的估计与选择性能。