[論文レビュー] Bayesian quantile additive regression trees

Bereket P. Kindo, Hao Wang+2 more|arXiv (Cornell University)|Jul 10, 2016

Statistical Methods and Inference参考文献 4被引用数 3

ひとこと要約

本稿では、非対称ラプラス尤度と混合表現を用いたベイジアン分位数加法的回帰木（BayesQArt）という新規手法を提案する。この手法は、分位数回帰における事後分布計算を効率的に行う。シミュレーション研究および実世界のデータ（非線形関係や高次元分類を含む）において、予測性能が高く、線形分位数回帰やランダムフォレストと比較して優れた結果を示した。

ABSTRACT

Ensemble of regression trees have become popular statistical tools for the estimation of conditional mean given a set of predictors. However, quantile regression trees and their ensembles have not yet garnered much attention despite the increasing popularity of the linear quantile regression model. This work proposes a Bayesian quantile additive regression trees model that shows very good predictive performance illustrated using simulation studies and real data applications. Further extension to tackle binary classification problems is also considered.

研究の動機と目的

• 分位数回帰のアンサンブル手法の不足を補うために、加法的回帰木のためのベイジアン枠組みを提案すること。
• 歪んだまたは裾が重い誤差分布下でも、条件付き分位数のロバストな推定を可能にすること。
• 非線形意思決定境界を有する二値分類問題にこの手法を拡張すること。
• p >> n の高次元設定において、予測精度を向上させること。
• 共役事前分布と混合表現を用いた、MCMCによる計算効率の良いベイジアンアプローチを提供すること。

提案手法

• 潜在変数を介して分位数回帰とベイジアン推論を結びつけるために、非対称ラプラス分布（ALD）尤度を採用する。
• 指数分布および正規分布の変数を用いたALDの混合表現を用い、効率的なギブスサンプリングを可能にする。
• 逆遷移MCMCを用いて、木構造とノードパラメータ（分割ルールおよび端末ノード値）を同時に推定する。
• 木の探索を効率的に行うために、GROWおよびPRUNEの動きを導入し、計算コストを低減する。
• クラス所属確率を分位数固有の木アンサンブルでモデル化することで、二値分類問題にモデルを適応させる。
• 分類誤差率およびAUCといった予測性能指標を用いて、モデルの精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 計算の実行可能性を保ちつつ、条件付き分位数を効果的に推定できるベイジアン加法的回帰木モデルは構築可能か？
• RQ2 非線形および高次元データにおいて、提案手法は線形分位数回帰およびランダムフォレストと比較して、予測精度に優れているか？
• RQ3 平均に基づく手法と比較して、ベイジアン分位数加法的回帰木モデルは、極端値や歪んだ応答分布に対してよりロバストに扱えるか？
• RQ4 p >> n の高次元分類設定において、モデルは強固な性能を維持できるか？
• RQ5 非対称ラプラス分布の混合表現は、木構造の分位数回帰における効率的なMCMCサンプリングを可能にするか？

主な発見

• 非線形境界を有するシミュレーション研究において、BayesQArtはテスト誤差率 0.2185（SE = 0.0100）およびAUC 0.8297（SE = 0.0088）を達成し、ランダムフォレスト（誤差 = 0.2600、AUC = 0.6363）を上回った。
• 高次元がん分類（p ≈ 10,000、n = 200）において、BayesQArtはテスト誤差率 0.1650（SE = 0.0170）およびAUC 0.8712（SE = 0.0165）を達成し、ランダムフォレスト（誤差 = 0.1800、AUC = 0.8184）を上回った。
• この手法は、歪んだ応答および極端な観測値の処理においてロバストであることが示され、分位数回帰の理論的利点と整合的であった。
• GROWおよびPRUNEの動きの使用により、計算コストが低減された一方で、モデルの柔軟性と予測精度は維持された。
• シミュレーション研究において、ベイジアン線形分位数回帰（BayesQR.AL）は誤差率 0.5500、AUC 0.4684 と高い誤差を示したのに対し、BayesQArtは優れた性能を示した。
• 標準的な個人用コンピュータ上での平均計算時間は 5.42 分であり、高次元入力にもかかわらず実用的なスケーラビリティを示した。