[論文レビュー] BooST: Boosting Smooth Trees for Partial Effect Estimation in Nonlinear Regressions

Yuri Fonseca, Marcelo C. Medeiros+2 more|arXiv (Cornell University)|Aug 10, 2018

Gaussian Processes and Bayesian Inference参考文献 21被引用数 5

ひとこと要約

BooSTは、ブースティングと滑らかな遷移回帰木を組み合わせることで、非線形回帰における部分的効果の安定的で微分可能な推定を可能にする、新しい機械学習モデルを導入する。ハードスプリットを滑らかな遷移に置き換えることで、導関数の解析的計算が可能となり、従来の木ベースのモデルよりも優れた解釈性を実現しながら、シミュレートされたデータおよび実世界のデータにおいても高い予測性能を維持する。

ABSTRACT

In this paper, we introduce a new machine learning (ML) model for nonlinear regression called the Boosted Smooth Transition Regression Trees (BooST), which is a combination of boosting algorithms with smooth transition regression trees. The main advantage of the BooST model is the estimation of the derivatives (partial effects) of very general nonlinear models. Therefore, the model can provide more interpretation about the mapping between the covariates and the dependent variable than other tree-based models, such as Random Forests. We present several examples with both simulated and real data.

研究の動機と目的

• 一般の非線形回帰において高い解釈性を備えた部分的効果を推定する機械学習モデルの開発を目的とする。
• 従来の回帰木の不安定さと微分不能性を克服するため、鋭いスプリットの代わりに滑らかな遷移を用いる。
• ブースティングと滑らかな遷移木を組み合わせることで、モデルの安定性と予測精度を向上させる。
• 高次元設定における部分的効果推定において、深層ニューラルネットワークやカーネル法のスケーラブルな代替手段を提供する。
• 経済学および関連分野における異質的処置効果や価格弾力性推定のための導関数の解析的計算を可能にする。

提案手法

• BooSTモデルは、ブースティングを用いて弱学習器を反復的に組み合わせる。各弱学習器は滑らかな遷移回帰木（STR-Tree）である。
• 各STR-Treeは、ハードスプリットの代わりに滑らかで微分可能な関数（例：ロジスティック関数や指数関数的遷移）を用いることで、導関数の解析的計算を可能にする。
• モデルは勾配ブースティングを用いて損失関数（例：平均二乗誤差）を最小化するように学習され、各新しい木が以前のアンサンブルの残差を補正する。
• 各ブースティング反復において、遷移変数と感度パラメータγでパrameter化された滑らかな遷移関数に基づいて最良のスプリットが選択される。
• 最終的なモデルはSTR-ツリーの重み付き和であり、微分可能性を保証し、予測変数空間の任意の点における正確な部分的効果推定を可能にする。
• 過学習を防ぐために、縮小、各スプリットにおける予測子のサブサンプリング、および早期停止を実装する。

実験結果

リサーチクエスチョン

• RQ1 滑らかな遷移木とブースティングを組み合わせることで、非線形モデルにおける安定的で微分可能な部分的効果推定が可能か？
• RQ2 予測精度および導関数推定の観点から、BooSTはRandom Forest やCARTツリーを用いたブースティングといった従来の木ベースのモデルと比べてどのように異なるか？
• RQ3 遷移パラメータγの選択が、モデルの性能および解釈性にどの程度の影響を及ぼすか？
• RQ4 BooSTは、実世界のデータセットにおいて、価格弾力性やマージナルインパクトなどの異質的効果を信頼性高く推定できるか？
• RQ5 理論的整合性と解釈性を優先する状況において、BooSTは深層ニューラルネットワークを上回って部分的効果を推定できるか？

主な発見

• メルボルンの住宅価格データセットにおいて、10分割交差検証でBooSTは最も低いOut-of-sample RMSEを達成し、対数線形モデルを上回り、CARTツリーを用いたブースティングと同等またはそれを上回った。
• γ ∈ [5,25]のBooSTモデルは、10分割交差検証で対数線形モデル比でRMSEが7.1%改善され、最良のベースラインと比較してp値 < 0.01であった。
• シミュレーションデータでは、BooSTはy = x³の導関数を正確に推定したが、単一のSTR-ツリーでは不安定さのため信頼性のある導関数推定が得られなかった。
• モデルの微分可能性のおかげで、住宅面積、緯度、経度が不動産価格に与えるマージナルインパクトといった部分的効果の正確な解析的計算が可能になった。
• BooSTは高次元入力に対しても頑健であり、空間的価格勾配（例：都市中心部や湾の近くで負の効果を示す）を明らかにする滑らかで解釈可能な部分的効果曲線を提供した。
• Random Forest や離散的ツリーを用いたブースティングと同等の性能を示したが、導関数の解析的計算と解釈性の向上という追加的利点を有していた。