[論文レビュー] Multi-Target XGBoostLSS Regression

Alexander März|arXiv (Cornell University)|Oct 13, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、勾配ブースティングを用いて複数の従属する応答変数の多変量分布のパラメータを同時に推定することで、XGBoostLSSを複数の応答変数に拡張した確率的回帰フレームワーク、Multi-Target XGBoostLSSを提案する。この手法は、PyTorchを介した自動微分を活用して複雑な依存関係をモデル化し、既存のGBMよりも高速な実行時間を達成しながら、シミュレートデータおよび実世界のデータセットにおいても競争力のある精度を維持する。

ABSTRACT

Current implementations of Gradient Boosting Machines are mostly designed for single-target regression tasks and commonly assume independence between responses when used in multivariate settings. As such, these models are not well suited if non-negligible dependencies exist between targets. To overcome this limitation, we present an extension of XGBoostLSS that models multiple targets and their dependencies in a probabilistic regression setting. Empirical results show that our approach outperforms existing GBMs with respect to runtime and compares well in terms of accuracy.

研究の動機と目的

• 既存の勾配ブースティングマシン（GBMs）が多変量設定において応答変数間の条件付き独立性を仮定しているという限界を是正すること。
• 複数の応答変数間の依存関係を明示的にモデル化するスケーラブルで確率的回帰フレームワークの開発。
• 一変量のXGBoostLSSフレームワークを、柔軟な多変量分布を用いた多応答分布回帰に拡張すること。
• PyTorchの自動微分とGPUヒストグラム学習を活用することで、高次元多変量回帰における計算効率の向上。
• 単一応答および多出力GBMベースラインと比較して、実行時間の優位性と精度の競争力の両立を実証すること。

提案手法

• D個の応答変数の同時分布を、位置、スケール、形状のパラメータを用いてモデル化することで、XGBoostLSSを多応答回帰に拡張。
• 応答ベクトル $\mathbf{y}_i \in \mathbb{R}^D$ を多変量正規分布、ディリクレ分布、またはスルーディアス分布でモデル化し、勾配ブースティングを用いてパラメータを推定。
• 解析的導関数が導出困難な複雑な分布に対しては、PyTorchによる自動微分を用いて勾配とヘッセ行列を計算。
• 完全な共分散行列のモデル化にはコレスキー分解、低ランク近似（LRA）を用いて低次元共分散行列を効率的に表現し、多変量依存関係の捕捉を実現。
• 各分布パラメータごとに別個の木を訓練し、負の対数尤度（NLL）に基づく損失関数を用いて同時分布モデルを最適化。
• Daskを用いた分散学習およびGPUアクセceleratedヒストグラムベース学習をサポートし、大規模データセットへのスケーラビリティを実現。

実験結果

リサーチクエスチョン

• RQ1 勾配ブースティングフレームワークは、応答変数間の明示的依存関係をモデル化する多変量確率的回帰に効果的に拡張可能か？
• RQ2 提案手法であるMulti-Target XGBoostLSSは、多変量データセットにおいて標準GBMおよび多出力回帰器と比較して、実行時間と精度の両面で優れているか？
• RQ3 共分散構造の近似法（コレスキー分解 vs. 低ランク近似）の選択が、モデル性能と計算コストに与える影響は何か？
• RQ4 高次元応答変数において、低ランク近似のランクパラメータ $r$ の選択がモデル性能に与える感度はどの程度か？
• RQ5 PyTorchにおける自動微分は、ブースティングフレームワーク内での複雑な多変量分布の効率的学習を可能にするか？

主な発見

• 提案手法のMulti-Target XGBoostLSSは、効率的なパラメータ推定とGPUヒストグラム学習のサポートにより、標準GBMよりも実行時間が顕著に速い。
• コレスキー分解に基づくモデルは、低次元〜中次元のデータセットにおいて、精度と計算効率のバランスが最良であり、多数のベンチマークで最低のNLLスコアを達成。
• 低ランク近似（LRA）モデルは競争力のある性能を示すが、ランクパラメータ $r$ に極めて敏感であり、最適な性能はデータセットや次元数に依存する。
• atp1dデータセットでは、$r$ を2から10に増加させたところ、性能が著しく低下（NLLが34.97から70.30に上昇）し、高ランクでの過学習が顕著に観察された。
• slデータセットでは、$r=5$ のLRAモデルが最良の中央値NLL（10.74）を達成したが、より高いランクでは性能が劣化した。これは表現力と過学習のトレードオフを示唆している。
• 高次元のoes10-datasetでは、LRAモデルが最も短い実行時間を記録した。これは$D$と$r$に線形に比例するパラメータスケーリングのおかげで、高次元におけるスケーラビリティの優位性が裏付けられた。