[論文レビュー] Wasserstein Random Forests and Applications in Heterogeneous Treatment Effects

Qiming Du, Gérard Biau+2 more|arXiv (Cornell University)|Jun 8, 2020

Groundwater flow and contamination studies被引用数 6

ひとこと要約

この論文は、潜在的アウトカムの経験的条件付き分布間のワーソルシュタイン距離を分割基準として用いることで、異質的処置効果の正確な推定を可能にする、ワーソルシュタインランダムフォレスト（WRF）を紹介する。この手法により、平均効果を超えて分布シフト、多峰性、処置の異質性を捉えることで、因果推論の透明性が向上する。

ABSTRACT

We present new insights into causal inference in the context of Heterogeneous Treatment Effects by proposing natural variants of Random Forests to estimate the key conditional distributions. To achieve this, we recast Breiman's original splitting criterion in terms of Wasserstein distances between empirical measures. This reformulation indicates that Random Forests are well adapted to estimate conditional distributions and provides a natural extension of the algorithm to multivariate outputs. Following the philosophy of Breiman's construction, we propose some variants of the splitting rule that are well-suited to the conditional distribution estimation problem. Some preliminary theoretical connections are established along with various numerical experiments, which show how our approach may help to conduct more transparent causal inference in complex situations.

研究の動機と目的

• 平均処置効果（CATE）にのみ焦点を当てる従来の因果推論手法の限界に対処すること。これには、多峰性や分散シフトなどの分布的複雑性が含まれる。
• 共変量 X に対して潜在的アウトカム Y(0) および Y(1) の完全な条件付き分布を推定するランダムフォレストの変種を開発すること。平均値の推定にとどまらない。
• 処置効果がサブグループ間で変動し、データがアンバランスであるような複雑な現実世界の設定において、より透明で頑健な因果推論を可能にすること。
• 高次元の共変量と無偏性仮定を満たす観察研究において、条件付き分布の推定に実用的でスケーラブルなフレームワークを提供すること。
• 複数のアウトカムとコストの同時分布をモデル化することで、多変量処置状況における意思決定を支援すること。

提案手法

• 左子ノードと右子ノードにおける応答変数の経験的確率測度間のワーソルシュタイン距離を用いて、ブライマンの元々のランダムフォレストの分割基準を再定式化する。
• 主に二つの変種を提案する：$L_{\text{intra}}^2$-WRF と $L_{\text{inter}}^1$-WRF。それぞれ、ノード内およびノード間のワーソルシュタイン距離を最小化することで、分布推定の精度を向上させる。
• 各ノードにおける応答の経験的測度を用いて $\mathscr{W}_p$ 距離を計算し、条件付き分布 $\mathcal{L}(Y|X=x)$ の推定を可能にする。
• バギングとランダム特徴量選択を適用したランダムフォレストアンサンブルを用い、ノードの近接度から得られる重みを用いて木の予測値を平均化する。
• 応答ベクトルを分布として扱うことで、多変量出力への拡張を実現し、複数のアウトカムの同時モデル化を可能にする。
• 提案された WRF モデルの実用的導入と検証を可能にする Python パッケージを提供する。

実験結果

リサーチクエスチョン

• RQ1 経験的分布間のワーソルシュタイン距離が、条件付き分布推定のためのランダムフォレストにおける原理的かつ効果的な分割基準として機能するか。
• RQ2 WRF は、平均ベースの手法と比較して、多峰性や歪度といった条件付き分布の複雑な特徴をどの程度正しく捉えられるか。
• RQ3 処置群がアンバランスであるか、感受性スコアが低い状況において、WRF は因果推論をどの程度改善するか。
• RQ4 WRF は、処置効果推定において、多変量または同時アウトカム分布を扱えるように拡張可能か。
• RQ5 真の条件付き分布が非正規分布または非一様な場合に、WRF の性能は異なるデータ生成メカニズムに対してどの程度頑健か。

主な発見

• あるターゲット個体 $x_\star^{(1)}=\pi/4$, $x_\star^{(2)}=1$, および $x_\star^{(6)}=\pi/6$ に対して、推定された $\pi_0(x_\star,\cdot)$ は非常に正確であり、コントロール潜在的アウトカム分布の推定において優れた性能を示している。
• 一方、$\pi_1(x_\star,\cdot)$ の推定は品質が低く、$e(x_\star)=0$ のような感受性スコアが低い領域での課題を浮き彫りにしている。
• $L_{\text{intra}}^2$-WRF と $L_{\text{inter}}^1$-WRF の両変種は $\pi_0$ の推定において同等の性能を示したが、処置割り当てがまれな状況では $\pi_1$ の推定に苦戦した。
• 数値実験により、WRF は完全な条件付き分布を可視化することで、平均ベースの手法では捉えきれない分布シフトを明らかにするなど、より透明な因果推論を提供することが確認された。
• この手法は、歪度や多峰性といった分布的特徴を、標準パッケージのカーネル密度推定（kde）と比較して特に優れた性能で捉えることが示された。
• 理論的接続から、感受性スコアが 0 または 1 に近い場合でも、ややきつい正則性条件のもとで、WRF は条件付き分布の推定に適していることが示唆されている。