[論文レビュー] Heteroscedastic BART Using Multiplicative Regression Trees

Matthew T. Pratola, Hugh Chipman+2 more|arXiv (Cornell University)|Sep 21, 2017

Optimal Experimental Design Methods参考文献 19被引用数 14

ひとこと要約

本稿では、分散の不均一性を積み重ねた木のアンサンブルを用いてモデル化することで、BARTを拡張したベイズ非パラメトリック回帰モデルHBARTを提案する。これにより、条件付き平均と分散の両方の柔軟で非パラメトリックな推定が可能になる。この手法は、効率的なMCMC推論のための条件付き共役性を用い、実データおよびシミュレートデータにおいて、予測分布の適合度と推論の洞察が向上することを示している。

ABSTRACT

BART (Bayesian Additive Regression Trees) has become increasingly popular as a flexible and scalable nonparametric regression approach for modern applied statistics problems. For the practitioner dealing with large and complex nonlinear response surfaces, its advantages include a matrix-free formulation and the lack of a requirement to prespecify a confining regression basis. Although flexible in fitting the mean, BART has been limited by its reliance on a constant variance error model. This homoscedastic assumption is unrealistic in many applications. Alleviating this limitation, we propose HBART, a nonparametric heteroscedastic elaboration of BART. In BART, the mean function is modeled with a sum of trees, each of which determines an additive contribution to the mean. In HBART, the variance function is further modeled with a product of trees, each of which determines a multiplicative contribution to the variance. Like the mean model, this flexible, multidimensional variance model is entirely nonparametric with no need for the prespecification of a confining basis. Moreover, with this enhancement, HBART can provide insights into the potential relationships of the predictors with both the mean and the variance. Practical implementations of HBART with revealing new diagnostic plots are demonstrated with simulated and real data on used car prices, fishing catch production and alcohol consumption.

研究の動機と目的

• 非線形かつ高次元のデータにおいて、BARTの均一分散誤差仮定の制限を克服し、不確実性の校正が不適切になり、過学習が生じるのを防ぐこと。
• 木のアンサンブルを用いて、応答変数の条件付き平均と分散の両方を、基底関数を必要としない非パラメトリックなアプローチでモデル化すること。
• 平均と分散の両方における予測子の効果を同時に推論可能とし、標準的なBARTが捉えられない関係を明らかにすること。
• 分散モデルにおける条件付き共役性を活用した計算効率の良いMCMCアルゴリズムを提供し、密行列の逆行列計算を回避すること。
• H-証拠と予測QQプロットなどの診断ツールを導入し、分散の依存関係と予測分布全体の適合度を評価すること。

提案手法

• 標準的なBARTと同様に、条件付き平均を木の和集合でモデル化する。各木が平均関数に加法的に寄与する。
• 条件付き分散を積み重ねた木のアンサンブルでモデル化する。各木が分散に乗法的に寄与し、柔軟で非パラメトリックな分散表面推定が可能になる。
• 分散の対数スケールパrameterizationを用いることで、積み重ねた木の構造が対数スケールで加法的になり、条件付き共役性が達成される。
• 分散パrameterに条件付き共役事前分布を適用し、MCMCアルゴリズムにおける効率的なギブスサンプリングステップを可能にする。
• スティリスティックサーチ変数選択を備えた適応的ベイズ回帰木を用い、自動的な変数選択と不確実性の定量化を可能にする。
• 調整が最小限で済むデフォルト事前分布を導入し、ハイパーパrameter κが主に交差検証に基づくキャリブレーションの対象となる。

実験結果

リサーチクエスチョン

• RQ1 木のアンサンブルを用いて、非パラメトリックなベイズモデルが、応答変数の条件付き平均と分散を同時に柔軟に推定できるか。
• RQ2 分散を積み重ねた木のアンサンブルとしてモデル化することで、均一分散BARTに比べて予測分布の適合度が向上するか。
• RQ3 HBARTは予測子依存の分散をどの程度正確に検出・モデル化できるか。また、実世界のデータセットにおいて、標準的BARTと比較してその性能はいかに。
• RQ4 提案された診断ツール（H-証拠プロットと予測QQプロット）は、不均一分散とモデル適合度の評価にどの程度有効か。
• RQ5 特に非線形性が複雑で高次元な状況下でも、HBARTは最小限のユーザー調整で効率的に実装可能か。

主な発見

• 既知の平均関数と分散関数を持つシミュレーション例では、HBARTはデフォルト事前分布のみを用いても非常に高い推定精度を達成し、有限標本における優れた性能を示した。
• 中古車価格データセットでは、HBARTが明確な不均一分散を検出しており、分散モデルでは3つの予測子が活発に寄与している一方、平均モデルでは2つの予測子にとどまっていることから、分散に及ぼす予測子効果の違いが明らかになった。
• 中古車データの予測QQプロットでは、HBARTが条件付き分布を効果的に捉えており、均一分散BARTに比べて優れた適合度を示していることがわかった。
• 漁業データセットでは、不均一分散モデルが均一分散BARTよりも著しく優れた適合度を示したが、完璧ではない。また、推定された平均と分散を用いたプラグインモデルも同程度の性能を示した。
• アルコール摂取量データでは、HBARTがBARTよりも適合度を向上させなかったことから、不均一分散が存在しない、またはモデルがそれを適切に捉えていないことが示唆された。これは診断プロットとも整合的であった。
• 予測QQプロットを要約するe統計量を用いた交差検証は、事前分布のキャリブレーションに有効であった。調整が必要なのは平均モデルのハイパーパrameter κのみであり、実装の複雑さが低いことが示された。