[論文レビュー] VCBART: Bayesian trees for varying coefficients

Sameer K. Deshpande, Ray Bai+3 more|arXiv (Cornell University)|Mar 13, 2020

Health disparities and outcomes被引用数 5

ひとこと要約

VCBARTは、多次元効果修正要因に応じて変化する共変量効果を柔軟に非パラメトリックに推定できる、変動係数モデルのためのベイジアン加法的回帰木フレームワークを導入する。従来の手法に比べ、制約の強い関数形の仮定や煩雑なチューニングを必要とせず、推定精度、不確実性の定量化、予測性能において優れた性能を発揮する。

ABSTRACT

The linear varying coefficient models posits a linear relationship between an outcome and covariates in which the covariate effects are modeled as functions of additional effect modifiers. Despite a long history of study and use in statistics and econometrics, state-of-the-art varying coefficient modeling methods cannot accommodate multivariate effect modifiers without imposing restrictive functional form assumptions or involving computationally intensive hyperparameter tuning. In response, we introduce VCBART, which flexibly estimates the covariate effect in a varying coefficient model using Bayesian Additive Regression Trees. With simple default settings, VCBART outperforms existing varying coefficient methods in terms of covariate effect estimation, uncertainty quantification, and outcome prediction. We illustrate the utility of VCBART with two case studies: one examining how the association between later-life cognition and measures of socioeconomic position vary with respect to age and socio-demographics and another estimating how temporal trends in urban crime vary at the neighborhood level. An R package implementing VCBART is available at https://github.com/skdeshpande91/VCBART

研究の動機と目的

• 多次元効果修正要因を扱う際、制約の強い関数形の仮定や煩雑なハイパーパrameterチューニングを必要とする従来の変動係数モデルの限界を克服すること。
• 固定されたパラメトリック構造を課さずに、複数の効果修正要因の非パラメトリック関数として共変量効果を柔軟に推定する手法を開発すること。
• 社会学および公衆衛生研究で一般的な高次元または複雑なデータ設定において、正確な不確実性の定量化と予測性能を実現すること。
• ブラックボックスモデルと同等の性能を達成しながらも、解釈可能性を保ち、ユーザーによるチューニングが最小限に抑えられるスケーラブルでデフォルトに優れたベイジアン手法を提供すること。

提案手法

• 各βj(Z)をバイナリ回帰木のアンサンブルとして表現するベイジアン加法的回帰木（BART）を用いて、変動係数関数βj(Z)をモデル化する。
• 木のパラメータに階層的事前分布を設定することで、柔軟で非パラメトリックな関数学習を可能にするとともに、縮小と正則化を実現する。
• MCMCサンプリングを用いて係数関数βj(Z)とアウトカム回帰を同時に推定し、後erior推論と不確実性の定量化を可能にする。
• 最小最大最適後方濃縮率定理（定理1）を適用して、対数因子を除き最小最大最適レートに近い後方濃縮性を理論的に確立する。
• Gibbsサンプラーを用いて実装し、木の構造とノードパラメータを繰り返し更新する。デフォルト事前分布を用いることで、ユーザーによるチューニングを最小限に抑える。
• 木のジャンプに正規事前分布の代わりにスパイクアンドスラブ事前分布を導入することで、スパースな変動係数モデルへの拡張を実現し、非ゼロ係数関数におけるスパarsityを誘導する。

実験結果

リサーチクエスチョン

• RQ1 真の関数形が未知で、かつ複雑である場合に、VCBARTは変動係数関数をどれほど正確に推定できるか？
• RQ2 問題固有のチューニングなしで、係数関数推定値およびアウトカム予測のための適切にキャリブレーションされた不確実性区間を提供できるか？
• RQ3 推定精度と予測性能の観点から、従来の最先端の変動係数手法と比較して、VCBARTはどの程度優れた性能を示すか？
• RQ4 フィラデルフィアの異なる地域において、犯罪の時間的推移に非線形的かつ非単調な傾向が存在するかどうかを、VCBARTはどの程度検出できるか？
• RQ5 社会経済的地位とその後の認知機能との関連は年齢、人種、性別によってどのように変化するか？また、事前に相互作用項を指定しない状況でも、VCBARTはその異質性を検出できるか？

主な発見

• シミュレーションデータにおいて、VCBARTは、煩雑なチューニングを要せず、既存の最先端の変動係数手法よりも優れた共変量効果関数の回復と予測性能を達成した。
• 健康と年金制度調査（HRS）の応用において、初期および晩年成人期の社会経済的地位を調整した後、子供時代の社会経済的地位とその後の認知機能との間に有意な関連は認められず、年齢、人種、性別による時間変動効果も強くは観察されなかった。
• フィラデルフィアの犯罪分析において、384の全区のうち88％（338区）で、線形トレンド係数β1の95％信用区間がゼロを含まず、犯罪の時間的線形トレンドが有意に存在することが示された。
• 全区の32％（125区）で、線形係数（β1）と2次係数（β2）の両方が信用区間がゼロを含まず、3分の1以上もの地域で犯罪に非線形的トレンドが存在することが示された。
• モデルは、フィラデルフィア全体で2010年代前半に犯罪が低下し、その後十年末に再び上昇した非単調的トレンドを、区ごとの多項式フィットにより捉えていた。
• 理論的分析により、VCBARTの後方分布は、対数因子を除き最小最大最適レートに近い速度で濃縮することが示され、本手法の強い理論的基盤が確立された。