[論文レビュー] Generalized XGBoost Method

Guang Yang|arXiv (Cornell University)|Sep 15, 2021

Statistical Methods and Inference参考文献 2被引用数 7

ひとこと要約

本稿では、損失関数の凸性制約を緩和することで、従来のXGBoostを拡張した一般化されたXGBoost手法を提案する。これにより、凸および非凸損失関数の両方を用いることが可能になる。さらに、多変量損失関数への拡張が行われ、パラメトリック分布の複数のパラメータを同時にモデル化する多目的で正則化された木のブースティングを可能とし、非定期保険の価格設定への応用が示されている。

ABSTRACT

The XGBoost method has many advantages and is especially suitable for statistical analysis of big data, but its loss function is limited to convex functions. In many specific applications, a nonconvex loss function would be preferable. In this paper, I propose a generalized XGBoost method, which requires weaker loss function constraint and involves more general loss functions, including convex loss functions and some non-convex loss functions. Furthermore, this generalized XGBoost method is extended to multivariate loss function to form a more generalized XGBoost method. This method is a multiobjective parameter regularized tree boosting method, which can model multiple parameters in most of the frequently-used parametric probability distributions to be fitted by predictor variables. Meanwhile, the related algorithms and some examples in non-life insurance pricing are given.

研究の動機と目的

• 実世界の応用において非凸損失関数がより適切である可能性があるが、XGBoostが凸損失関数を必要とするという制限を克服すること。
• パラメトリック分布の複数のパラメータを同時にモデル化する多変量損失関数をXGBoostに統合すること。
• 複雑な統計的モデリングタスクに適用可能な多目的でパrameter正則化付きの木のブースティングフレームワークを開発すること。
• 非定期保険の価格設定などの実用的状況における手法の有効性を示すこと。
• XGBoostの効率性を維持しながら、適用範囲を広げた柔軟で汎用的なブースティングフレームワークを提供すること。

提案手法

• 本手法は、損失関数の凸性要件を緩和することでXGBoostを一般化し、非凸損失関数の使用を可能にする。
• 予測変数の関数として複数の分布パラメータ（例：平均、分散）をモデル化する多目的定式化を導入する。
• モデルの安定性を高め、過学習を防ぐためにパラメータ正則化を統合する。
• 一般化された損失関数を用いた勾配ベースの木のブースティングを採用し、標準XGBoostの目的関数を多変数出力に対応させる。
• 木の学習中の効率的最適化のため、損失関数の2次近似を採用する。
• 本手法は単変量および多変量損失関数の両方をサポートし、パラメトリック分布の柔軟なモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 XGBoostは、最適化の安定性を損なわずに非凸損失関数をサポートできるように一般化できるか？
• RQ2 多変量損失関数をどのように木のブースティングに統合し、複数の分布パラメータを同時にモデル化できるか？
• RQ3 多パラメータ適合の状況において、パラメータ正則化がモデル性能に与える影響は何か？
• RQ4 一般化されたXGBoost手法は、実世界の保険価格設定タスクにおける予測精度を向上させられるか？
• RQ5 非凸損失関数を用いる場合、標準XGBoostと比較して、本手法の柔軟性および収束性はどのように異なるか？

主な発見

• 一般化されたXGBoost手法は、凸および非凸損失関数の両方を効果的にサポートし、元のXGBoostの制限を超えた応用範囲を拡大した。
• 多目的ブースティングフレームワークを用いることで、パラメトリック分布の複数のパラメータ（例：平均、分散）の同時モデリングが可能になった。
• パラメータ正則化の導入により、高次元または複雑な適合タスクにおけるモデルの安定性が向上し、過学習が軽減された。
• 非定期保険の価格設定における実例は、手法の実用的有用性と向上したモデリングの柔軟性を示している。
• 一般化された損失関数を用いても、標準XGBoostと同等の計算効率と収束特性を維持している。
• 2回目の論文版では、洗練された表現と明確な記述がなされており、手法の提示における段階的改善が示されている。