[論文レビュー] Stochastic Tree Ensembles for Estimating Heterogeneous Effects

Nikolay Krantsevich, Jingyu He+1 more|arXiv (Cornell University)|Sep 15, 2022

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

本稿では、従来のギブスサンプリングに比べて事後分布の探索と推定効率を向上させる、ベイジアン因果木集合（BCF）のための新しい確率的木アンサンブルアルゴリズムを提案する。この手法により、特に強い交絡が存在する状況下でも、より速い収束とより正確な信頼区間推定が可能となり、シミュレーションおよび学生教育データを用いた実証分析により検証された。

ABSTRACT

Determining subgroups that respond especially well (or poorly) to specific interventions (medical or policy) requires new supervised learning methods tailored specifically for causal inference. Bayesian Causal Forest (BCF) is a recent method that has been documented to perform well on data generating processes with strong confounding of the sort that is plausible in many applications. This paper develops a novel algorithm for fitting the BCF model, which is more efficient than the previously available Gibbs sampler. The new algorithm can be used to initialize independent chains of the existing Gibbs sampler leading to better posterior exploration and coverage of the associated interval estimates in simulation studies. The new algorithm is compared to related approaches via simulation studies as well as an empirical analysis.

研究の動機と目的

• ベイジアン因果木集合（BCF）モデルにおけるギブスサンプリングの収束が遅く、事後分布の探索が不十分である問題に対処すること。
• より効率的なBCFのフィッティングアルゴリズムを開発し、大規模データセットに対してもスケーリング可能でありながら、精度を維持すること。
• 強い交絡が存在する状況下でも、条件付き平均処置効果（CATE）の事後信頼区間推定を改善すること。
• 事後分布の探索と信用区間カバレッジを向上させることで、より良いサブグループ分析を可能とすること。
• 既存のギブスサンプラーに適用可能なウォームスタート初期化手法を提供し、収束性と推定品質を向上させること。

提案手法

• ギブスサンプリングにおける遅いランダムウォークメトロポリス・ハスティングス法の代わりに、ベイジアン更新を模倣した確率的木成長アルゴリズムを提案する。
• 各MCMC反復において、スプリットのカットポイント候補と事後確率計算に従って、再帰的に各木を再構築する確率的プロセスを用いる。
• 深さに依存する分割確率を用いて木構造に事前分布を適用する：$\alpha(1+d)^{-\beta}$、ここで$\alpha \in (0,1)$、$\bar\beta \geq 0$。
• リーフパラメータに独立した正規事前分布を割り当てる：$m_{lb} \sim \mathcal{N}(0, \nu)$。
• 新規アルゴリズムを既存のギブスサンプラーのウォームスタート初期化として統合し、事後分布の探索を向上させる。
• スプリットの事後確率に基づいて、カットポイント候補$c_{jk}$を用いた再帰的分割を用いる。

実験結果

リサーチクエスチョン

• RQ1 確率的木成長アルゴリズムは、ベイジアン因果木集合モデルの効率性と収束性を顕著に向上させることができるか？
• RQ2 従来のギブスサンプリングと比較して、新しいアルゴリズムはCATEの事後信頼区間推定をより正確かつ信頼性の高いものにできるか？
• RQ3 ウォームスタート初期化手法は、非定型処置効果推定における事後カバレッジの向上とバイアスの低減を実現できるか？
• RQ4 シミュレーションおよび実世界データにおいて、本手法はBART、ps-BART、および他の因果推論モデルと比較してどのように性能を発揮するか？
• RQ5 新しいアルゴリズムは、強い交絡が存在する大規模な観察データセットにおいて、スケーラブルな推論をどの程度可能にするか？

主な発見

• 提案手法は、BCFモデルにおける標準的ギブスサンプリングと比較して、事後分布の探索と収束速度を顕著に改善した。
• ウォームスタートBCFは、標準的BCFよりも長い事後信用区間を示し、カバレッジの向上と不確実性の低減を示唆している。
• シミュレーションでは、ウォームスタートBCFがより優れた区間推定と真の処置効果の信頼性の高いカバレッジを示した。
• 学生教育データを用いた実証分析から、教育水準が低い両親と家族支援のない学生が、学校内指導から最も利益を受けていたことが判明し、サブグループのATEは1.3ポイントであった。
• サブグループ2（両親が高学歴で家族支援なし）では、ATEが-0.46ポイントであり、2つのサブグループ間の差の95％事後信用区間は（-0.2, 4.7）であった。
• サブグループ効果の事後差は主に正であったため、処置効果がサブグループ間で有意義に異なるという強い証拠が得られた。