[論文レビュー] High-dimensional nonparametric monotone function estimation using BART

Hugh Chipman, Edward I. George+2 more|arXiv (Cornell University)|Dec 6, 2016

Statistical Methods and Inference参考文献 22被引用数 15

ひとこと要約

本稿では、高次元設定における非パラメトリック回帰推定を改善するために、1つ以上の予測子における単調性を強制する制約付きベイジアン加法的回帰木（BART）の一種、monotone BARTを提案する。単調性制約を独創的なMCMCアルゴリズムを用いて組み込むことで、不確実性と事前分布への感受性が低減され、滑らかで解釈性が高く、より予測精度の高い関数推定が達成される。

ABSTRACT

For the estimation of a regression relationship between Y and a large set of potential predictors x 1 , . . . , x p , the flexible nature of a nonparametric approach such as BART (Bayesian Additive Regression Trees) allows for a much richer set of possibilities than a more restrictive parametric approach. However, it may often occur that subject matter considerations suggest the relationship will be monotone in one or more of the predictors. For such situations, we propose monotone BART, a constrained version of BART that uses the monotonicity information to improve function estimation without the need of using a parametric form. Imposing monotonicity, when appropriate, results in (i) function estimates that are smoother and more interpretable, (ii) better out-of-sample predictive performance, (iii) less uncertainty, and (iv) less sensitivity to prior choice. While some of the key aspects of the unconstrained BART model carry over directly to monotone BART, the imposition of the monotonicity constraints necessitates a fundamental rethinking of how the model is implemented. In particular, in the original BART algorithm, the Markov Chain Monte Carlo algorithm relied on a conditional conjugacy that is no longer available in a high-dimensional, constrained space.

研究の動機と目的

• 分野の知識が単調な関係を示唆する高次元設定において、柔軟性と解釈可能性を両立する回帰モデルの必要性に対処すること。
• 単調性制約を組み込むことで、非パラメトリック関数推定の予測性能を向上させ、不確実性を低減すること。
• 高次元の予測子空間において単調性を強制しつつ、BARTの柔軟性を維持する計算的に実行可能なMCMCアルゴリズムを開発すること。
• 制約としての単調性をモデルの構造的情報として活用することで、事前分布への感受性を低減すること。

提案手法

• 本手法はBARTを拡張し、関連する共変量において推定関数が非減少または非増加であることを保証する制約付き事前分布を用いて、特定の予測子に単調性制約を課す。
• 標準BARTで用いられる条件付き共役性に代わり、単調性制約下での事後分布計算を可能にする、独創的なマルコフ連鎖モンテカルロ（MCMC）アルゴリズムを開発する。
• 再パラメータライゼーションと受理採用サンプリング戦略を用い、各木の成分が全体の関数を単調に保ちつつ、BARTの加法的構造を維持する。
• 制約付き事前分布と修正された事後分布シミュレーション方式を用いることで、BARTのベイジアン非パラメトリックな柔軟性を維持しつつ単調性を組み込む。
• スパースで加法的な木構造を用いることで、高次元の予測子空間に対応し、制約付きパrameter空間の効率的探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単調性制約は、高次元設定における非パラメトリック回帰の精度と解釈性を向上させることができるか？
• RQ2 真の関係に単調性が成立する場合、単調性を強制することはBARTにおける不確実性の定量化と事前分布への感受性にどのように影響するか？
• RQ3 高次元で非パラメトリックなモデルに単調性を課す場合、MCMCの効率性を維持するために必要な計算戦略は何か？
• RQ4 out-of-sample予測の観点から、monotone BARTは制約なしBARTをどの程度上回るか？

主な発見

• 関連する予測子における分野知識に基づく単調性を強制することで、monotone BARTは滑らかで解釈性の高い関数推定を実現する。
• 制約付きモデルは、真の関係に単調性が成立する場合に特に、制約なしBARTよりも優れたout-of-sample予測性能を達成する。
• 制約による構造的情報の統合により、事後分布の不確実性が低減し、事前分布の選択への感受性も低下する。
• 提案されたMCMCアルゴリズムは、制約付き空間における条件付き共役性の喪失を克服し、単調性制約下での事後分布計算を成功裏に実現した。