[論文レビュー] Bayesian Additive Regression Trees With Parametric Models of Heteroskedasticity

Justin Bleich, Adam Kapelner|arXiv (Cornell University)|Feb 21, 2014

Bayesian Methods and Mixture Models参考文献 11被引用数 9

ひとこと要約

この論文は、事前に指定された共変数の線形関数として誤差分散の対数をモデル化することにより、異分散性を扱えるようにBARTを拡張したBayesian Additive Regression Trees（HBART）を提案する。この手法は、分散パラメータのメトロポリス・ハスティングス更新を伴うギブスサンプリングを用いる。その結果、等分散性を仮定する従来のBARTと比較して、非定常分散の設定下でより正確な後方予測区間が得られ、過学習が軽減される。

ABSTRACT

We incorporate heteroskedasticity into Bayesian Additive Regression Trees (BART) by modeling the log of the error variance parameter as a linear function of prespecified covariates. Under this scheme, the Gibbs sampling procedure for the original sum-of- trees model is easily modified, and the parameters for the variance model are updated via a Metropolis-Hastings step. We demonstrate the promise of our approach by providing more appropriate posterior predictive intervals than homoskedastic BART in heteroskedastic settings and demonstrating the model's resistance to overfitting. Our implementation will be offered in an upcoming release of the R package bartMachine.

研究の動機と目的

• 回帰モデルにおけるBARTの等分散誤差仮定の制限を解消すること。
• 共変数のパラメトリック関数を用いて異分散性を柔軟にモデル化するベイジアンフレームワークの構築。
• 高分散領域における後方予測区間の改善と過学習の低減。
• 等分散データにおいても予測性能を維持しつつ、異分散状況への拡張を実現すること。
• 分散モデルのハイパーパrameter選択を可能にする交差検証の導入。

提案手法

• 誤差分散の対数を事前に指定された共変数の線形関数としてモデル化し、異分散性のパラメトリックなモデル化を可能にする。
• 元のBARTのギブスサンプラーを変更し、分散パラメータをメトロポリス・ハスティングスステップで更新する。
• 平均と分散パラメータを別々の段階で更新するブロックギブスサンプリング方式を採用する。
• Gamerman（1997）の反復的重み付き最小二乗法を活用し、分散パラメータのための効率的な提案分布を生成する。
• 非線形な分散パターンを捉えるために、時刻と時刻の二乗といった共変数を用いて分散設計行列Zを指定する。
• RパッケージbartMachineに実装されており、GitHubのhBARTブランチでコードを公開している。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな分散関数を用いて、ベイジアン加法的回帰木モデルが異分散誤差構造を効果的に捉えることができるか？
• RQ2 異分散性下において、HBARTは等分散BARTと比較して予測区間の精度がどのように向上するか？
• RQ3 BARTが固定分散仮定のもとで過学習を示す高分散領域において、HBARTは過学習を低減するか？
• RQ4 拡張されたモデルは、等分散データにおいても予測性能を劣化させずに維持できるか？
• RQ5 ハイパーパrameterの交差検証によるチューニングが、HBARTの分散構造選択における性能向上にどの程度寄与するか？

主な発見

• 異分散設定下では、HBARTは等分散BARTと比較してより適切な後方予測区間を生成する。特に、予測子空間全体で変動する不確実性を的確に捉えている。
• モーターサイクル衝突データでは、HBARTの予測区間は高時刻では狭く、中間領域では広くなり、真の分散パターンに密接に一致している。
• BARTのグローバル分散仮定は、低時刻および高時刻では区間が広くなり、中間領域では狭くなりすぎる傾向があるが、HBARTはこの誤指定を是正している。
• HBARTは、高分散領域における過学習に対して耐性を示しており、BARTは固定分散仮定のため過学習を示す傾向にある。
• 等分散データでは、HBARTの後方平均推定値、予測区間、および出外サンプルRMSEはBARTとほぼ同一であり、性能の低下がないことが示された。
• 再現コードは公開されており、hbart_paperフォルダ内の提供されたRスクリプトを用いることで、結果、表、図を再現可能である。