[论文解读] Combining Gradient Boosting Machines with Collective Inference to Predict Continuous Values

Iman Al-Odah, Jennifer Neville|arXiv (Cornell University)|Jul 1, 2016

Bayesian Modeling and Causal Inference参考文献 9被引用 3

一句话总结

本文提出了一种新颖的梯度提升算法 MGB，通过迭代学习关系模型来预测残差，将集体推理整合到关系数据的回归任务中。该方法通过利用关系依赖性，在标准梯度提升的基础上提升了预测准确性，实证结果表明在真实世界网络数据集上表现更优，特别是在使用当前提升预测值而非邻居残差作为特征时表现更佳。

ABSTRACT

Gradient boosting of regression trees is a competitive procedure for learning predictive models of continuous data that fits the data with an additive non-parametric model. The classic version of gradient boosting assumes that the data is independent and identically distributed. However, relational data with interdependent, linked instances is now common and the dependencies in such data can be exploited to improve predictive performance. Collective inference is one approach to exploit relational correlation patterns and significantly reduce classification error. However, much of the work on collective learning and inference has focused on discrete prediction tasks rather than continuous. %target values has not got that attention in terms of collective inference. In this work, we investigate how to combine these two paradigms together to improve regression in relational domains. Specifically, we propose a boosting algorithm for learning a collective inference model that predicts a continuous target variable. In the algorithm, we learn a basic relational model, collectively infer the target values, and then iteratively learn relational models to predict the residuals. We evaluate our proposed algorithm on a real network dataset and show that it outperforms alternative boosting methods. However, our investigation also revealed that the relational features interact together to produce better predictions.

研究动机与目标

• 解决传统梯度提升在关系数据中的局限性，即实例之间存在依赖关系而非独立同分布。
• 将此前主要用于分类任务的集体推理扩展到具有连续目标变量的回归设置中。
• 探究将梯度提升与集体推理结合是否能提升关系回归任务中的预测性能。
• 评估不同关系特征的影响，特别是基于邻居残差与当前提升预测的特征。
• 确定在残差上应用集体推理是否相比标准提升或非集体关系模型能提升模型准确性。

提出的方法

• 提出一种改进的梯度提升（MGB）算法，先学习一个基础关系模型，然后通过集体推理迭代拟合模型以预测残差。
• 在每个提升阶段，算法将残差计算为真实值与预测值之间的差值，使用损失函数的负梯度。
• 基于邻居的目标值、当前提升预测值和残差构建关系特征，初始值设为已知邻居值的中位数或零。
• 应用集体推理同时更新网络中的预测，利用关系相关性以改善估计。
• 提升过程按阶段进行，模型更新为 $ F_m = F_{m-1} + \rho_m \cdot h_m $，其中 $ h_m $ 是拟合残差的弱学习器。
• 算法使用线搜索优化乘数 $ \rho_m $，以确保每个阶段损失最小化。

实验结果

研究问题

• RQ1 集体推理能否提升关系回归任务中梯度提升的性能？
• RQ2 不同关系特征（特别是基于邻居残差与当前预测的特征）如何影响模型准确性？
• RQ3 在残差学习阶段整合集体推理是否能带来比标准梯度提升在关系数据上更好的泛化性能？
• RQ4 各种关系特征对最终预测性能的相对贡献是什么？
• RQ5 在残差上应用集体推理是否比使用当前提升预测作为特征在关系模型中更有效？

主要发现

• MGB 算法在真实世界网络数据集上优于标准梯度提升和非集体关系模型，通过集体推理显著提升了回归准确性。
• 包含关系特征 Rf₄（基于邻居当前提升预测）显著提升了性能，经消融实验验证。
• 基于邻居残差的关系特征（Rf₂ 和 Rf₃）效果较差，甚至有时会降低性能，表明通过集体推理准确估计残差存在困难。
• 仅当同时使用 Rf₁（已知邻居值的中位数）和 Rf₄（当前提升预测）时才能获得最佳性能，凸显特征交互效应。
• 结果表明，使用当前提升预测作为特征比依赖残差的集体推理更有效，即使残差与误差相关。
• 算法性能对特征初始化敏感，基于中位数的初始化（Rf₁ 和 Rf₄）优于随机或零初始化。