[论文解读] MetaBags: Bagged Meta-Decision Trees for Regression

Jihed Khiari, Luís Moreira-Matias+3 more|arXiv (Cornell University)|Apr 17, 2018

Machine Learning and Data Classification参考文献 24被引用 5

一句话总结

MetaBags 提出了一种用于回归的新型堆叠框架，通过使用袋装元决策树，根据自定义元特征为每个输入动态选择最佳基模型。该方法通过减少偏差并利用特征空间子区域间的预测多样性，在现有方法基础上实现了平均 12.73% 的 RMSE 改进，达到当前最先进性能。

ABSTRACT

Ensembles are popular methods for solving practical supervised learning problems. They reduce the risk of having underperforming models in production-grade software. Although critical, methods for learning heterogeneous regression ensembles have not been proposed at large scale, whereas in classical ML literature, stacking, cascading and voting are mostly restricted to classification problems. Regression poses distinct learning challenges that may result in poor performance, even when using well established homogeneous ensemble schemas such as bagging or boosting. In this paper, we introduce MetaBags, a novel, practically useful stacking framework for regression. MetaBags is a meta-learning algorithm that learns a set of meta-decision trees designed to select one base model (i.e. expert) for each query, and focuses on inductive bias reduction. A set of meta-decision trees are learned using different types of meta-features, specially created for this purpose - to then be bagged at meta-level. This procedure is designed to learn a model with a fair bias-variance trade-off, and its improvement over base model performance is correlated with the prediction diversity of different experts on specific input space subregions. The proposed method and meta-features are designed in such a way that they enable good predictive performance even in subregions of space which are not adequately represented in the available training data. An exhaustive empirical testing of the method was performed, evaluating both generalization error and scalability of the approach on synthetic, open and real-world application datasets. The obtained results show that our method significantly outperforms existing state-of-the-art approaches.

研究动机与目标

• 解决在大规模场景下学习异质回归集成模型时缺乏可扩展、高效方法的问题。
• 克服传统堆叠在回归任务中的局限性，即参数化元学习器往往无法捕捉模型性能中的复杂非线性关系。
• 通过在训练数据的自助样本上学习元决策树，减少模型集成中的归纳偏差。
• 通过引入专门的局部地标元特征，提升在低数据量或分布外子区域的泛化能力。
• 开发一种实用且可扩展的堆叠框架，在回归任务中超越现有最先进集成方法的性能。

提出的方法

• 训练一组多样化的基回归模型（例如：随机森林、梯度提升、SVM）作为专家。
• 为每个训练样本计算新型局部地标元特征，以捕捉局部数据分布和模型行为特征。
• 通过袋装方法学习一组元决策树：每棵树基于训练数据的自助样本进行训练，以元特征为输入，基模型预测为输出目标。
• 在测试阶段，每棵元决策树利用其学习到的规则评估输入，选择最合适的基模型。
• 通过简单平均聚合所选基模型的预测结果，生成最终输出。
• 采用非参数化元学习方法，避免对集成组合函数形式做出假设。

实验结果

研究问题

• RQ1 基于袋装元决策树的元学习框架是否能显著优于现有堆叠和集成方法，显著提升回归性能？
• RQ2 新型局部地标元特征在训练数据稀疏的子区域中，对模型选择准确性和泛化能力的提升程度如何？
• RQ3 与懒惰学习（如 kNN）和线性堆叠相比，MetaBags 在可扩展性和计算效率方面表现如何？
• RQ4 对元树进行袋装是否能降低方差，并提升在多样化回归数据集上的模型集成鲁棒性？
• RQ5 通过元树实现的动态专家选择，是否能有效利用输入空间不同区域间的预测多样性？

主要发现

• MetaBags 显著优于当前最先进堆叠方法，在 17 个数据集上实现了平均 12.73% 的 RMSE 相对改进。
• 引入新型局部地标元特征带来了额外 2.67% 的平均性能提升，凸显其在捕捉局部数据特征方面的重要作用。
• 在高异常值密度数据集上，MetaBags 实现了平均 14.65% 的性能提升，表明其在具有挑战性的低覆盖区域中具备强鲁棒性。
• 该方法保持了良好的可扩展性，训练时间与线性堆叠和 kNN 基动态选择方法相当；尽管由于需多次树评估，测试时推理速度可能较慢。
• MetaBags 在任何基线方法上均未表现出统计上显著更差的性能，表明其在多样化数据集上具备一致的泛化能力。
• 消融实验确认，元层级的袋装和专用元特征的使用对性能提升均至关重要。