[论文解读] Mixture regression for observational data, with application to functional regression models

Toshiya Hoshikawa|arXiv (Cornell University)|Jun 30, 2013

Bayesian Methods and Mixture Models参考文献 19被引用 9

一句话总结

本文提出一种联合混合回归模型，将响应变量和协变量分布联合建模为有限混合分布，从而能够从协变量中估计群体成员的后验概率。与传统混合回归不同，该模型考虑了群体间的协变量异质性，通过群体特异性后验概率自适应地适应新的协变量值，从而提高预测精度，在功能型和多元数据上均表现出优越性，包括伯克利生长研究数据。

ABSTRACT

In a regression analysis, suppose we suspect that there are several heterogeneous groups in the population that a sample represents. Mixture regression models have been applied to address such problems. By modeling the conditional distribution of the response given the covariate as a mixture, the sample can be clustered into groups and the individual regression models for the groups can be estimated simultaneously. This approach treats the covariate as deterministic so that the covariate carries no information as to which group the subject is likely to belong to. Although this assumption may be reasonable in experiments where the covariate is completely determined by the experimenter, in observational data the covariate may behave differently across the groups. Thus the model should also incorporate the heterogeneity of the covariate, which allows us to estimate the membership of the subject from the covariate. In this paper, we consider a mixture regression model where the joint distribution of the response and the covariate is modeled as a mixture. Given a new observation of the covariate, this approach allows us to compute the posterior probabilities that the subject belongs to each group. Using these posterior probabilities, the prediction of the response can adaptively use the covariate. We introduce an inference procedure for this approach and show its properties concerning estimation and prediction. The model is explored for the functional covariate as well as the multivariate covariate. We present a real-data example where our approach outperforms the traditional approach, using the well-analyzed Berkeley growth study data.

研究动机与目标

• 解决传统混合回归模型将协变量视为确定性变量且忽略群体间协变量异质性的问题。
• 开发一种联合混合模型，其中响应变量和协变量分布均建模为混合分布，以支持群体成员后验概率的估计。
• 通过利用协变量信息自适应地加权群体特异性回归模型，提升观察性数据中的预测性能。
• 将该框架扩展至功能型数据设定，其中协变量行为在不同群体间存在差异。

提出的方法

• 将响应变量 Y 和协变量 X 的联合密度建模为有限混合：f(Y,X|δk=1) = φ(Y; αk + βkᵀX, σk²)φ(X; μk, Σk)，允许群体特异性协变量分布。
• 使用EM算法估计参数，E步基于当前参数估计计算群体成员后验概率τik。
• 在M步中，使用加权最小二乘法和矩估计量，更新群体权重πk、回归系数βk、误差方差σk²，以及群体特异性协变量均值μk和协方差Σk。
• 将模型应用于多元和功能型协变量，其中功能型数据通过基展开和光滑处理。
• 引入重新参数化方法以提升EM算法中的数值稳定性和收敛性。
• 使用AIC和BIC等信息准则选择群体数量K。

实验结果

研究问题

• RQ1 在混合回归框架中联合建模响应变量和协变量分布，是否能相比传统方法显著提升观察性数据中的预测精度？
• RQ2 在群体间引入协变量异质性，如何影响群体成员后验概率估计和预测性能？
• RQ3 当新观测的群体成员身份未知时，所提出的联合混合模型是否优于标准混合回归？
• RQ4 该模型在保持预测精度的前提下，能在多大程度上扩展以处理功能型协变量？
• RQ5 该模型在真实世界的功能型数据（如伯克利生长研究）上的表现如何？

主要发现

• 所提出的联合混合回归模型在新观测群体成员身份未知时，显著优于传统混合回归，因其利用协变量信息计算自适应后验概率，从而提升预测性能。
• 在伯克利生长研究数据中，联合模型的预测误差低于标准线性回归和传统混合回归，体现出其实际优势。
• 该模型通过允许协变量分布在不同群体间变化，成功捕捉了功能型协变量（如生长曲线）的群体特异性模式。
• 模拟研究证实，EM算法在联合模型下收敛稳定，且参数估计具有一致性。
• 引入协变量异质性可提升后验成员概率的准确性，从而通过合理加权群体特异性模型增强预测性能。
• 在使用BIC进行模型选择时，该模型对群体数量的误设具有鲁棒性，模拟实验已验证此结论。