[論文レビュー] Multivariate Probabilistic Regression with Natural Gradient Boosting

Michael O’Malley, Adam M. Sykulski+2 more|arXiv (Cornell University)|Jun 7, 2021

Gaussian Processes and Bayesian Inference参考文献 22被引用数 5

ひとこと要約

本稿では、2次元速度ベクトルなどの多次元出力における連関する不確実性をモデル化するため、自然勾配ブースティング（NGBoost）を用いた多次元確率的回帰フレームワークを提案する。自然勾配ブースティングにより多次元正規分布の自然パラメータをパrameter化することで、出力次元間の相関を捉えることができ、シミュレーションおよび実世界の海流予測タスクにおいて、独立モデルやディープニューラルネットワークを上回る性能を発揮する。

ABSTRACT

Many single-target regression problems require estimates of uncertainty along with the point predictions. Probabilistic regression algorithms are well-suited for these tasks. However, the options are much more limited when the prediction target is multivariate and a joint measure of uncertainty is required. For example, in predicting a 2D velocity vector a joint uncertainty would quantify the probability of any vector in the plane, which would be more expressive than two separate uncertainties on the x- and y- components. To enable joint probabilistic regression, we propose a Natural Gradient Boosting (NGBoost) approach based on nonparametrically modeling the conditional parameters of the multivariate predictive distribution. Our method is robust, works out-of-the-box without extensive tuning, is modular with respect to the assumed target distribution, and performs competitively in comparison to existing approaches. We demonstrate these claims in simulation and with a case study predicting two-dimensional oceanographic velocity data. An implementation of our method is available at https://github.com/stanfordmlgroup/ngboost.

研究の動機と目的

• 相関する出力次元間の連関する不確実性を捉える、強力で即時利用可能な多次元確率的回帰手法の不足に対処すること。
• NGBoostフレームワークを、特に多次元正規分布を対象とする多次元予測分布の連関モデリングをサポートするように拡張すること。
• 出力次元間の相関をモデル化することで、独立モデルや対角共分散仮定と比較して、予測精度および不確実性の定量化が向上することを示すこと。
• 研究者が環境科学データに容易に多次元確率的回帰を適用できる、モジュラでチューニング不要の実装を提供すること。

提案手法

• 自然勾配ブースティングを用いて、入力特徴量の非パrametric関数として、多次元正規分布の条件付き平均ベクトルおよび完全な共分散行列をモデル化する。
• フィッシャー情報計量を用いて効率的で安定した更新が可能な自然勾配降下法を用いて、予測分布のパrameterを最適化する。
• 弱学習器（例：決定木）を繰り返し用いて、訓練データ上の負の対数尤度を最小化するように、平均および共分散パラメータの予測を段階的に改善する。
• 本手法はモジュラである：勾配およびリーマン計量が定義されていれば、任意の多次元分布に拡張可能である。
• 出力次元の高次元化に対しても、出力次元数の指数的増加に苦しむディープ分布回帰と比較して、より効率的に処理できる。
• 実装はNGBoost Pythonパッケージに統合されており、ユーザーが最小限のチューニングで多次元確率的回帰を実行できる。

実験結果

リサーチクエスチョン

• RQ1 自然勾配ブースティングは、連関する不確実性モデリングを伴う多次元確率的回帰に効果的に拡張可能か？
• RQ2 相関する出力次元の連関モデリングは、独立モデルや対角共分散仮定と比較して、予測性能をどのように向上させるか？
• RQ3 提案された多次元NGBoost手法は、不確実性のキャリブレーションおよび予測精度の観点で、最先端のディープラーニングベースラインを上回るか？
• RQ4 完全な共分散行列をモデル化することで、予測領域面積はどの程度小さくなり、カバレッジは維持または向上するか？

主な発見

• 多次元NGBoost（NGB）モデルは、テストセットの負の対数尤度（NLL）が7.73±0.02を達成し、独立NGBoost（Indep NGB）の7.74±0.02およびディープニューラルネットワーク（NN）の7.81±0.02を上回った。
• NGBは、NNの16.63±0.19 cm·s⁻¹と比較して、より低い平均二乗誤差（RMSE）14.53±0.14 cm·s⁻¹を達成し、点予測精度が優れていることを示した。
• NGBの90％予測領域（PR）面積は2482±51 cm²·s⁻²であり、NNの3670±75 cm²·s⁻²と比較して顕著に小さく、よりきめ細かく正確な不確実性推定であることを示した。
• NGBとIndep NGBの間のNLLの空間的差異から、NGBは特に北アトランティックにおける高相関領域で、より優れた不確実性キャリブレーションを提供していることがわかった。
• モデルは、平均流れ予測においてグulf streamや北アトランティス海流といった主要な海洋学的特徴を的確に捉えており、実世界への応用可能性を示した。
• NGBを高相関領域に、Indep NGBを他の領域に使用するモデルスタッキングの手法がさらなる性能向上をもたらす可能性があるが、今後の検討が必要である。