[论文解读] Merging versus Ensembling in Multi-Study Machine Learning: Theoretical Insight from Random Effects

Zoe Guan, Giovanni Parmigiani+1 more|arXiv (Cornell University)|May 17, 2019

Statistical Methods and Inference被引用 7

一句话总结

本文在跨研究异质性背景下，比较了将所有数据集合并与多研究集成在线性回归中的表现。它通过分析推导出一个临界点，当该点被超越时，集成方法的预测精度将超过合并方法。结果表明，当关系较为同质时，合并方法更优；但随着异质性增加，集成方法表现更佳——为多研究机器学习中研究合并提供了决策准则。

ABSTRACT

A critical decision point when training predictors using multiple studies is whether these studies should be combined or treated separately. We compare two multi-study learning approaches in the presence of potential heterogeneity in predictor-outcome relationships across datasets. We consider 1) merging all of the datasets and training a single learner, and 2) multi-study ensembling, which involves training a separate learner on each dataset and combining the predictions resulting from each learner. In a linear regression setting, we show analytically and confirm via simulation that merging yields lower prediction error than ensembling when the predictor-outcome relationships are relatively homogeneous across studies. However, as cross-study heterogeneity increases, there exists a transition point beyond which ensembling outperforms merging. We provide analytic expressions for the transition point in various scenarios, study asymptotic properties, and illustrate how transition point theory can be used for deciding when studies should be combined with an application from metabolomics.

研究动机与目标

• 解决将多个研究合并为单一模型，或分别训练模型后集成预测结果之间的根本性选择问题。
• 理解跨研究中预测变量-结果关系的异质性如何影响多研究学习中的预测性能。
• 推导出在线性回归设置下，集成方法优于合并方法的分析条件。
• 提供一个理论决策规则，用于根据异质性水平判断何时应合并研究，并在代谢组学应用中加以验证。

提出的方法

• 在随机效应框架下形式化问题，以建模跨研究回归系数的变异。
• 推导出在线性回归中，合并与集成策略下预测误差的闭式表达式。
• 识别出随着异质性增加，集成预测误差低于合并误差的临界点。
• 使用渐近分析研究在大样本规模下临界点的行为特征。
• 将推导出的临界点理论应用于真实代谢组学数据集，以展示其实际应用价值。
• 通过模拟实验验证在不同跨研究异质性水平下，分析结果的可靠性。

实验结果

研究问题

• RQ1 当预测变量-结果关系在不同研究间存在差异时，在多研究线性回归中，集成方法在何种条件下优于合并方法？
• RQ2 集成预测误差低于合并预测误差的异质性分析阈值是多少？
• RQ3 合并与集成之间的临界点如何依赖于研究间随机效应的方差？
• RQ4 随着研究数量或样本量的增加，临界点的渐近性质如何？
• RQ5 推导出的临界点理论能否指导现实世界应用中是否应合并研究的实际决策？

主要发现

• 当预测变量-结果关系在各研究间相对同质时，合并方法的预测误差低于集成方法。
• 随着跨研究异质性增加，存在一个明确的临界点，超过该点后，集成方法优于合并方法。
• 临界点可被分析推导，其取决于随机效应的方差和研究数量。
• 模拟结果证实了理论预测：当异质性超过推导出的阈值后，集成方法超越合并方法。
• 临界点理论可支持基于数据的决策，实现研究合并，已在真实代谢组学数据集中得到验证。
• 渐近分析表明，随着样本量增加，临界点趋于稳定，支持其在大规模应用中的稳健性。