[論文レビュー] Gradient Boosting Machine: A Survey

Zhiyuan He, Danchen Lin+2 more|arXiv (Cornell University)|Aug 19, 2019

Machine Learning and Algorithms参考文献 12被引用数 25

ひとこと要約

本調査は勾配ブースティングマシン（GBM）の包括的な数学的枠組みを提供し、勾配降下法による損失関数の反復的最小化が、正確な予測モデルを構築する方法を詳細に説明している。線分探索と勾配降下法を用いてベースラーナーを最適化することで、LAD、M-回帰、ロジスティック回帰の変種といった主要なアルゴリズムを体系的に導出しており、回帰、分類、順序付けのタスクに応用可能な堅牢で柔軟なツールとしてGBMの有効性を確立している。

ABSTRACT

In this survey, we discuss several different types of gradient boosting algorithms and illustrate their mathematical frameworks in detail: 1. introduction of gradient boosting leads to 2. objective function optimization, 3. loss function estimations, and 4. model constructions. 5. application of boosting in ranking.

研究の動機と目的

• さまざまな学習タスクにわたる勾配ブースティングマシン（GBM）の厳密な数学的基盤を提供すること。
• 反復的バックフィットと勾配降下法を用いたパラメトリックおよびノンパラメトリックモデルの最適化を分析すること。
• L1、L2、Huber、分位数、ベルヌーイ、指数損失といった異なる損失関数がモデルの挙動と性能に与える影響を検討すること。
• GBMが順序付けアルゴリズム、特にLambdaMARTと統合され、情報検索におけるNDCGを最適化する方法を示すこと。
• 有限標本およびノンパラメトリック設定の両方で、線分探索と勾配計算によるモデル更新の導出を形式化すること。

提案手法

• 損失関数のモデル出力に関する勾配を計算することで、経験的リスクを反復的に最小化するための勾配降下最適化を用いる。
• 貪欲で段階的な加法的モデル構築法を採用：$ F_m(x) = F_{m-1}(x) + \beta_m h(x; a_m) $、ここで各ベースラーナー $ h $ は損失関数の負の勾配にフィットする。
• 線分探索により最適ステップサイズ $ \rho_m $ を導出：$ \rho_m = \arg\min_\rho \mathbb{E}_{y,x} L(y, F_{m-1}(x) - \rho g_m(x)) $。
• L1、L2、Huber、分位数などの異なる損失関数を適用し、回帰、ロバスト回帰、分位数推定に適したモデルを構築する。
• 多クラス分類における和がゼロの制約を満たすためにベクトルツリーを導入し、スプリット利益とノード値の明示的計算を可能にする。
• NDCG正規化勾配（ラムダ勾配）$ \gamma_{ij} = S_{ij} \left| \frac{\partial \Delta \text{NDCG}}{\partial o_{ij}} \right| $ を用いてGBMフレームワークを順序付けに適応し、モデル更新を誘導する。

実験結果

リサーチクエスチョン

• RQ1 関数的勾配降下と損失最小化の観点から、勾配ブースティングを体系的に導出する方法は何か？
• RQ2 GBMにおける異なる損失関数（例：L1、L2、Huber、分位数）の数学的性質と最適化手順は何か？
• RQ3 構造的目的関数を伴う多クラス分類および順序付け問題を扱うために、GBMフレームワークをどのように拡張できるか？
• RQ4 多クラスロジスティック回帰における和がゼロの制約をGBMに組み込むために必要な修正は何か？
• RQ5 LambdaMARTにおけるラムダ勾配の使用が、標準GBMと比較して順序付け性能をどのように向上させるか？

主な発見

• GBMフレームワークは、分類に限らない多様な損失関数への応用を可能にする関数的勾配降下を用いることで、AdaBoostを一般化している。
• LAD回帰では、各領域における最適な更新は残差の中央値であり、$ \gamma_{jm} = \text{median}_{x_i \in R_{jm}} \{ y_i - F_{m-1}(x_i) \} $ と表され、外れ値に対してロバストである。
• Huber損失を用いたM-回帰では、中央値に基づく補正により更新が計算される：$ \gamma_{jm} = \widetilde{r_{jm}} + \frac{1}{N_{jm}} \sum \text{sign}(r_{m-1}(x_i) - \widetilde{r_{jm}}) \cdot \min(\delta_m, |r_{m-1}(x_i) - \widetilde{r_{jm}}|) $。
• 二値ロジスティック回帰では、線分探索ステップが変換された残差を用いて近似される：$ \gamma_{jm} = \sum \widetilde{y_i} / \sum |\widetilde{y_i}|(2 - |\widetilde{y_i}|) $、ここで $ \widetilde{y_i} = 2\widetilde{y_i}/(1 + \exp(2y_i F_{m-1}(x_i))) $ である。
• 多クラスロジスティック回帰では、更新式は $ \gamma_{jkm} = \frac{K-1}{K} \cdot \frac{\sum \widetilde{y_{ik}}}{\sum |\widetilde{y_{ik}}|(1 - |\widetilde{y_{ik}}|)} $ と表され、確率制約下での効率的最適化を可能にする。
• 順序付けの文脈では、LambdaMARTはラムダ勾配 $ \gamma_{ij} = S_{ij} \left| \frac{\partial \Delta \text{NDCG}}{\partial o_{ij}} \right| $ を用い、ここで $ S_{ij} = 1 $ はアイテム $ i $ が $ j $ よりも関連性が高い場合を意味し、順序付けの質を直接最適化する。