[論文レビュー] Combining Gradient Boosting Machines with Collective Inference to Predict Continuous Values

Iman Al-Odah, Jennifer Neville|arXiv (Cornell University)|Jul 1, 2016

Bayesian Modeling and Causal Inference参考文献 9被引用数 3

ひとこと要約

本稿では、逐次的に関係的モデルを学習して残差を予測することにより、関係データ上の回帰タスクに集合的推論を統合する新しい勾配ブースティング手法MGBを提案する。この手法は、関係的依存性を活用することで、標準の勾配ブースティングよりも予測精度を向上させ、実世界のネットワークデータセットにおいて優れた性能を示している。特に、隣接ノードの残差ではなく、現在のブースティング予測値を特徴量として使用した場合に顕著な改善が得られている。

ABSTRACT

Gradient boosting of regression trees is a competitive procedure for learning predictive models of continuous data that fits the data with an additive non-parametric model. The classic version of gradient boosting assumes that the data is independent and identically distributed. However, relational data with interdependent, linked instances is now common and the dependencies in such data can be exploited to improve predictive performance. Collective inference is one approach to exploit relational correlation patterns and significantly reduce classification error. However, much of the work on collective learning and inference has focused on discrete prediction tasks rather than continuous. %target values has not got that attention in terms of collective inference. In this work, we investigate how to combine these two paradigms together to improve regression in relational domains. Specifically, we propose a boosting algorithm for learning a collective inference model that predicts a continuous target variable. In the algorithm, we learn a basic relational model, collectively infer the target values, and then iteratively learn relational models to predict the residuals. We evaluate our proposed algorithm on a real network dataset and show that it outperforms alternative boosting methods. However, our investigation also revealed that the relational features interact together to produce better predictions.

研究の動機と目的

• 従来の勾配ブースティングが関係データに適用される際の限界、すなわちインスタンスが独立同分布でないという点を解決すること。
• 主に分類タスクで用いられてきた集合的推論を、連続的な目的変数を持つ回帰設定へと拡張すること。
• 勾配ブースティングと集合的推論を組み合わせることで、関係的回帰タスクにおける予測性能が向上するかどうかを調査すること。
• 特に、隣接ノードの残差に基づく特徴量と現在のブースティング予測値に基づく特徴量の違いが、モデルの精度に与える影響を評価すること。
• 標準的なブースティングや非集合的関係的モデルと比較して、残差に対する集合的推論がモデル精度を向上させるかどうかを検証すること。

提案手法

• 基本的な関係的モデルを学習した後、集合的推論を用いて残差を予測する反復的学習を行う、修正された勾配ブースティング（MGB）アルゴリズムを提案する。
• 各ブースティング段階で、損失関数の負の勾配を用いて、真の値と予測値の差（残差）を計算する。
• 関係的特徴量は、隣接ノードの目的変数値、現在のブースティング予測値、および残差に基づいて構築され、初期値は既知の隣接ノードの中央値またはゼロに設定される。
• 集合的推論を用いて、ネットワーク全体で同時に予測値を更新することで、関係的相関を活用し、推定精度を向上させる。
• ブースティングプロセスは段階的に進行し、$ F_m = F_{m-1} + \rho_m \cdot h_m $ としてモデルを更新する。ここで $ h_m $ は残差に適合された弱学習器である。
• 乗数 $ \rho_m $ を最適化するためにラインサーチを用い、各段階で損失を最小化するようにする。

実験結果

リサーチクエスチョン

• RQ1 集合的推論は関係的回帰タスクにおける勾配ブースティングの性能を向上させることができるか？
• RQ2 特に、隣接ノードの残差に基づく特徴量と現在の予測値に基づく特徴量の違いが、モデル精度にどのように影響するか？
• RQ3 残差学習段階に集合的推論を統合することで、関係データにおける一般化性能が標準的ブースティングよりも向上するか？
• RQ4 さまざまな関係的特徴量が最終的な予測性能に果たす相対的寄与度は何か？
• RQ5 残差に対する集合的推論は、現在のブースティング予測値を特徴量として使用するよりも効果的か？

主な発見

• MGBアルゴリズムは、実世界のネットワークデータセットにおいて、標準的勾配ブースティングおよび非集合的関係的モデルを上回る性能を示し、集合的推論により回帰精度が向上していることが実証された。
• アブレーションスタディの結果、隣接ノードの現在のブースティング予測値に基づく関係的特徴量Rf₄の導入が、性能向上に顕著な寄与を示した。
• 隣接ノードの残差に基づく特徴量（Rf₂およびRf₃）は効果が低く、場合によっては性能を劣化させる傾向にあり、集合的推論による残差の正確な推定が難しいことが示唆された。
• Rf₁（既知の隣接ノード値の中央値）とRf₄（現在のブースティング予測値）を同時に使用した場合にのみ最良の性能が得られ、特徴量間の相互作用効果が顕著に現れた。
• 結果から、残差の集合的推論に依存するのではなく、現在のブースティング予測値を特徴量として使用する方が、誤差と相関するが依然として効果的であることが示唆された。
• アルゴリズムの性能は特徴量の初期化に敏感であり、Rf₁およびRf₄に対して中央値ベースの初期化が、ランダムまたはゼロ初期化よりも優れた結果をもたらした。