[论文解读] Mixtures of Experts Models

Isobel Claire Gormley, Sylvia Frühwirth‐Schnatter|arXiv (Cornell University)|Jun 21, 2018

Bayesian Methods and Mixture Models参考文献 11被引用 23

一句话总结

本文提出混合专家（ME）框架作为一种灵活的统计工具，将混合成分参数建模为伴随协变量的函数，从而实现对响应变量与协变量的联合分析。该模型在聚类、捕捉参数异质性以及处理多样化数据类型方面展现出实用性，同时指出了可识别性挑战，并强调了实际应用中需谨慎进行模型设定。

ABSTRACT

Mixtures of experts models provide a framework in which covariates may be included in mixture models. This is achieved by modelling the parameters of the mixture model as functions of the concomitant covariates. Given their mixture model foundation, mixtures of experts models possess a diverse range of analytic uses, from clustering observations to capturing parameter heterogeneity in cross-sectional data. This chapter focuses on delineating the mixture of experts modelling framework and demonstrates the utility and flexibility of mixtures of experts models as an analytic tool.

研究动机与目标

• 将混合专家（ME）框架形式化为有限混合模型的推广，将伴随协变量纳入成分参数和混合权重中。
• 展示ME模型在各种数据类型（包括排序数据、网络数据、时间序列和纵向数据）中的广泛应用性。
• 解决ME模型中的可识别性问题，特别是完全分离或标签切换等情况下的问题，并强调模型设定的重要性。
• 为ME模型的推断、软件工具及实际应用提供指导。
• 识别开放的研究挑战，尤其是在同时在成分函数和权重函数中引入协变量的通用ME模型中建立通用可识别性的挑战。

提出的方法

• 将响应变量 $ y_i $ 建模为成分密度 $ f_g(y_i | \theta_g(x_i)) $ 的有限混合，其中成分参数 $ \theta_g $ 和混合权重 $ \eta_g $ 是协变量 $ x_i $ 的函数，形式为 $ p(y_i|x_i) = \sum_{g=1}^G \eta_g(x_i) f_g(y_i | \theta_g(x_i)) $。
• 使用多项对数比（MNL）回归建模门控网络 $ \eta_g(x_i) $，并使用广义线性模型（GLMs）对成分密度 $ f_g $ 建模，以实现灵活的参数化建模。
• 通过MCMC进行贝叶斯推断以估计参数，同时对收敛性和可识别性问题（如标签切换和后验分布多峰）进行仔细诊断。
• 通过样条或其他灵活函数对混合比例进行非参数建模，以在不施加强参数假设的前提下提高模型适应性。
• 使用交叉验证和后预测检查来评估不同数据类型下的模型拟合度和预测性能。
• 应用扩展覆盖条件以评估通用可识别性，确保覆盖协变量值的独立超平面数量超过成分数 $ G $。

实验结果

研究问题

• RQ1 如何将混合模型扩展以在成分参数和混合权重中同时引入伴随协变量，以改进聚类和异质性建模？
• RQ2 在混合专家模型中，同时在成分函数和权重函数中包含协变量对模型识别性和可解释性有何影响？
• RQ3 在什么条件下混合专家模型是通用可识别的，特别是当其基础有限混合模型不可识别时？
• RQ4 在实际应用中，完全分离或标签切换等可识别性问题如何影响ME模型的性能和解释？
• RQ5 在时间序列、网络和排序数据等多样化数据类型中，拟合ME模型的实际挑战和最佳实践是什么？

主要发现

• 混合专家框架通过允许成分参数和混合权重均依赖于协变量，实现了灵活建模，显著提升了模型的可解释性和预测能力。
• 若基础标准有限混合模型是可识别的，且MNL模型参数可识别，则ME模型是通用可识别的，但这一结论依赖于协变量结构和成分分布的特性。
• 在完全分离情况下可能出现识别失败，即某些簇之间不共享协变量值，导致MNL模型无法识别。
• 在实践中，MCMC行为异常（如后验分布多峰或混合不良）通常表明存在可识别性问题，而集中后验众数则可能暗示识别性问题。
• ME模型已成功应用于多种数据类型，包括排序数据、网络数据、时间序列和纵向数据，展现出广泛的实用性。
• 在成分函数和权重函数中同时引入协变量可增强模型判别能力，但会增加复杂性并提高非识别风险，因此需要精心设计模型并进行充分诊断。