[論文レビュー] Causal-BALD: Deep Bayesian Active Learning of Outcomes to Infer Treatment-Effects from Observational Data

Andrew Jesson, Panagiotis Tigas+4 more|arXiv (Cornell University)|Nov 3, 2021

Machine Learning and Algorithms参考文献 45被引用数 8

ひとこと要約

Causal-BALD は、治療効果推定のための深層ベイジアンアクティブラーニングフレームワークを提案する。この手法は、処置群とコントロール群のサポートが重複する領域を優先することで、観察データにおける結果の選択を実施し、サンプル効率を向上させる。情報理論的採択関数を用いて同定不能な領域を回避し、IHDP や CMNIST などの合成および準合成データセットでベースライン手法を上回る性能を発揮する。

ABSTRACT

Estimating personalized treatment effects from high-dimensional observational data is essential in situations where experimental designs are infeasible, unethical, or expensive. Existing approaches rely on fitting deep models on outcomes observed for treated and control populations. However, when measuring individual outcomes is costly, as is the case of a tumor biopsy, a sample-efficient strategy for acquiring each result is required. Deep Bayesian active learning provides a framework for efficient data acquisition by selecting points with high uncertainty. However, existing methods bias training data acquisition towards regions of non-overlapping support between the treated and control populations. These are not sample-efficient because the treatment effect is not identifiable in such regions. We introduce causal, Bayesian acquisition functions grounded in information theory that bias data acquisition towards regions with overlapping support to maximize sample efficiency for learning personalized treatment effects. We demonstrate the performance of the proposed acquisition strategies on synthetic and semi-synthetic datasets IHDP and CMNIST and their extensions, which aim to simulate common dataset biases and pathologies.

研究の動機と目的

• 既存のアクティブラーニング手法が、治療効果が同定不能な低重複領域を標的にする傾向にあることによる非効率性を是正すること。
• 高い不確実性を持つが、処置群とコントロール群の間に十分な重複があるデータポイントを優先する採択関数を開発し、治療効果の同定可能性を保証すること。
• 結果測定が高コストである状況において、パーソナライズド治療効果推定のための深層ベイジアンモデルにおけるサンプル効率を向上させること。
• 特に重複仮定を満たすことで、アクティブラーニングにおけるデータ分布バイアスを軽減し、因果同定可能性の条件と整合性を持たせること。

提案手法

• 情報理論に基づいた因果的ベイジアン採択関数を導入し、特にモデルパラメータと出力の相互情報量を最大化するが、重複サポートを条件として含める。
• 不確実性推定と予測分散モデリングのため、モンテカルロドロップアウトを用いた深層ベイジアンニューラルネットワークを採用する。
• BALD（Bayesian Active Learning by Disagreement）の原則を応用したが、処置群とコントロール群の両方が存在する領域を優先するように変更し、同定可能性を保証する。
• 事前学習済みモデルを用いて不確実性を推定し、最も情報の多いサンプルを出力取得の対象として選択する。反復的に治療効果推定値を精緻化する。
• 訓練の安定性と不確実性のキャリブレーションを向上させるために、残差構造にスペクトル正規化とバッチ正規化を組み込む。
• 合成データ、IHDP、CMNIST データセットを用いて評価し、選択バイアスや非重複サポートといった現実世界のデータ病理を制御的に再現する。

実験結果

リサーチクエスチョン

• RQ1 処置群とコントロール群のサポートが重複する領域に注目することで、治療効果推定のためのアクティブラーニングが、よりサンプル効率的になるか？
• RQ2 重複を優先する情報理論的採択関数は、標準的な BALD と比較して、治療効果推定の正確性においてどのように異なるか？
• RQ3 重複領域に採択を偏らせることで、治療効果が推定不能な領域に結果を取得するリスクはどの程度低減されるか？
• RQ4 選択バイアスや共変量分布の非重複といった一般的なデータ病理下でも、提案手法 Causal-BALD は性能を維持できるか？
• RQ5 低データ環境下において、本手法はランダムおよび不確実性ベースの採択戦略と比較して、どの程度優れた性能を示すか？

主な発見

• Causal-BALD は、処置群とコントロール群のサポートが重複する領域に注目することで、治療効果推定におけるサンプル効率を著しく向上させ、必要なラベル付き結果の数を削減した。
• IHDP データセットでは、特に低予算設定下で、ベースラインのアクティブラーニング手法と比較して、Causal-BALD は平均二乗誤差（MSE）が低かった。
• 選択バイアスや非重複に対する頑健性を示し、標準的なアクティブラーニングが失敗する状況でも安定した性能を維持した。
• 準合成 CMNIST 実験では、推定の正確性と収束速度の両面で、不確実性ベースおよびランダム採択を上回った。
• 因果同定可能性に基づいた情報理論的採択関数の使用により、多様なデータ分布にわたるより信頼性が高く汎用性の高い治療効果推定が可能になった。