[論文レビュー] CatBoostLSS -- An extension of CatBoost to probabilistic forecasting

Alexander März|arXiv (Cornell University)|Jan 4, 2020

Time Series Analysis and Forecasting参考文献 29被引用数 7

ひとこと要約

この論文では、連続的かつ一変量の応答変数の条件付き分布全体を、パラメトリック分布のすべての位置・スケール・形状（LSS）パラメータを推定することでモデル化する CatBoostLSS を提案する。これにより、確率的予測、予測区間、分位数推定が可能になる。この手法はニュートンブースティングと最尤推定を活用し、機械学習モデルにおける解釈可能性と不確実性の定量化を向上させる。

ABSTRACT

We propose a new framework of CatBoost that predicts the entire conditional distribution of a univariate response variable. In particular, CatBoostLSS models all moments of a parametric distribution (i.e., mean, location, scale and shape [LSS]) instead of the conditional mean only. Choosing from a wide range of continuous, discrete and mixed discrete-continuous distributions, modelling and predicting the entire conditional distribution greatly enhances the flexibility of CatBoost, as it allows to gain insight into the data generating process, as well as to create probabilistic forecasts from which prediction intervals and quantiles of interest can be derived. We present both a simulation study and real-world examples that demonstrate the benefits of our approach.

研究の動機と目的

• 統計的モデリングと機械学習の間のギャップを埋めるために、応答変数の条件付き分布全体をモデル化するように CatBoost を拡張すること。
• 条件付き平均を越える確率的予測を可能にし、予測区間や関心のある分位数を提供すること。
• 位置・スケール・形状のすべての分布パラメータを推定することで、勾配ブースティング木モデルの解釈可能性と不確実性の定量化を向上させること。
• 多様なデータ設定におけるシミュレーションスタディと実世界の応用を通じて、CatBoostLSS の有効性を示すこと。
• 統計的学習（推論、分布モデリング）の長所と機械学習（CatBoost）の予測力の両方を統合すること。

提案手法

• CatBoostLSS は、ニュートンブースティングを用いて、パラメトリック分布のすべてのパラメータ（位置、スケール、形状）をモデル化することで CatBoost を拡張する。
• この手法は、最尤推定を用いた経験的リスク最小化に基づき、パrameter最適化にニュートン・ラプソン更新則を活用する。
• データ生成過程に適合させるために、連続的・離散的・混合離散連続的分布の広い範囲をサポートする。
• 適合したパラメトリックモデルの累積分布関数を逆算することで、条件付き分位数と予測区間の推定が可能になる。
• 異なる期待値（expectiles）における特徴量の重要度と部分的効果を分析し、共変数が応答分布のさまざまな部分に与える影響を評価する。
• Python で実装されており、GitHub リポジトリを通じて公開される予定である。

実験結果

リサーチクエスチョン

• RQ1 CatBoost は、条件付き平均だけでなく、応答変数の完全な条件付き分布をモデル化できるか？
• RQ2 すべての分布パラメータ（LSS）をモデル化することで、平均のみのモデルと比較して不確実性の定量化と予測性能がどのように向上するか？
• RQ3 CatBoostLSS は、実世界のデータにおける異分散性、歪度、その他の分布的特徴をどの程度正確に捉えることができるか？
• RQ4 精度と頑健性の観点から、NGBoost や GAMLSS などの既存の確率的予測手法と比較して、CatBoostLSS はどのように異なるか？
• RQ5 CatBoostLSS 内の期待値回帰により、共変数の効果が応答分布のさまざまな部分で異なることが明らかになるか？

主な発見

• CatBoostLSS は、すべての LSS パラメータを推定することで、応答変数の完全な条件付き分布をモデル化し、確率的予測と不確実性の定量化を可能にした。
• シミュレーションおよび実世界のデータの両方で、歪度や異分散性といった分布的特徴を、平均のみのベースラインよりも優れた性能で捉えている。
• CatBoostLSS 内の期待値回帰により、特徴量の効果が応答分布のさまざまな部分で異なることが明らかになった。特に、一部の共変数は中央値よりも裾の部分でより強い影響を持つことが示された。
• シミュレーションスタディにより、さまざまなデータ生成メカニズムにおいて、CatBoostLSS が分布パラメータの推定を正確かつ安定して行えることが確認された。
• ミュンヘンの家賃データを含む実世界の応用では、平均回帰とは異なり、高額家賃と低額家賃に対する差別の影響を捉えることができ、より豊かなインサイトが得られた。
• 小標本における期待値の交差（expectile crossing）に対して、この手法は頑健であるが、推定の安定性を向上させるために調整を推奨する。