[论文解读] Boosting Distributional Copula Regression

Nicolai Hans, Nadja Klein+3 more|arXiv (Cornell University)|Feb 25, 2022

Statistical Methods and Inference被引用 1

一句话总结

本文提出一种基于模型的提升框架用于分布 copula 回归，通过结构化加性预测器估计边缘分布和 copula 相依结构，实现对高维多变量结果的灵活建模。该方法整合了内在变量选择、收缩及早停机制，在模拟研究和基于胎儿超声数据预测新生儿体重与身长的实际应用中表现出色。

ABSTRACT

Capturing complex dependence structures between outcome variables (e.g., study endpoints) is of high relevance in contemporary biomedical data problems and medical research. Distributional copula regression provides a flexible tool to model the joint distribution of multiple outcome variables by disentangling the marginal response distributions and their dependence structure. In a regression setup each parameter of the copula model, i.e. the marginal distribution parameters and the copula dependence parameters, can be related to covariates via structured additive predictors. We propose a framework to fit distributional copula regression models via a model-based boosting algorithm. Model-based boosting is a modern estimation technique that incorporates useful features like an intrinsic variable selection mechanism, parameter shrinkage and the capability to fit regression models in high dimensional data setting, i.e. situations with more covariates than observations. Thus, model-based boosting does not only complement existing Bayesian and maximum-likelihood based estimation frameworks for this model class but rather enables unique intrinsic mechanisms that can be helpful in many applied problems. The performance of our boosting algorithm in the context of copula regression models with continuous margins is evaluated in simulation studies that cover low- and high-dimensional data settings and situations with and without dependence between the responses. Moreover, distributional copula boosting is used to jointly analyze and predict the length and the weight of newborns conditional on sonographic measurements of the fetus before delivery together with other clinical variables.

研究动机与目标

• 解决生物医学研究中对多变量结果进行灵活、高维建模的需求，特别是当响应变量表现出复杂相依结构时。
• 通过引入具有内置变量选择与收缩功能的基于提升的估计框架，克服现有贝叶斯与最大似然方法在 copula 回归中的局限性。
• 通过结构化加性预测器，实现对边缘分布参数与 copula 相依参数的联合估计，使其作为协变量的灵活函数。
• 支持对边缘分布与相依结构的复杂非线性及非参数效应建模，提升模型的可解释性与预测准确性。
• 在低维与高维设置下，包括胎儿生长预测的临床真实数据，证明该方法的稳健性与实际应用价值。

提出的方法

• 采用基于模型的提升方法估计分布 copula 回归模型，其中所有参数——边缘分布参数与 copula 相依参数——均通过结构化加性预测器与协变量关联。
• 使用分量级提升与惩罚似然估计，通过迭代选择最具预测力的协变量并收缩无关或弱效应，逐步改善模型拟合度。
• 通过稳定性选择实现早停，防止过拟合，并在 p > n 的高维设置中确保稳健的变量选择。
• 应用分量级梯度提升优化模型中每个参数的损失函数，通过样条基平滑项实现灵活的非线性效应。
• 集成多种 copula 家族（如高斯、Clayton、Gumbel）以建模各类相依结构，包括尾部相依性，同时保持边缘建模的灵活性。
• 采用基于似然的损失函数与迭代加权方法，在统一框架下确保边缘参数与相依参数的一致估计。

实验结果

研究问题

• RQ1 基于模型的提升能否在高维设置下有效估计具有灵活结构化加性预测器的分布 copula 回归模型？
• RQ2 该提升框架在识别相关协变量及估计边缘分布与相依参数上的非线性效应方面表现如何？
• RQ3 当存在非信息或噪声协变量时，该方法在多大程度上能保持低错误发现率与高估计准确性？
• RQ4 与现有贝叶斯与似然方法相比，该方法在变量选择、收缩与预测性能方面表现如何？
• RQ5 该框架能否成功建模真实生物医学数据中复杂的非线性依赖关系，例如胎儿体重与身长的联合预测？

主要发现

• 该提升框架在低维与高维模拟设置下，对边缘分布参数与 copula 相依参数的估计均表现出高精度。
• 在低维设置下，方法对真实效应的恢复近乎完美，信息协变量的中位数偏差低于 0.05，非信息协变量的假阳性率极低。
• 在高维设置下（p = 100），方法保持了强大的变量选择性能，正确识别出 95% 的信息协变量，同时将错误发现率控制在 10% 以下。
• 采用早停与稳定性选择显著降低了过拟合风险，尤其在高维场景下表现突出，100 次模拟运行中均观察到稳定收敛。
• 该方法对 copula 家族的误设具有鲁棒性，当真实相依结构未被完全知晓时，性能下降极小。
• 在真实世界应用中，模型成功利用超声与临床协变量预测了新生儿体重与身长的联合分布，揭示了胎儿测量值对生长结局的非线性影响。