[論文レビュー] Zero-shot causal learning

Hamed Nilforoshan, Michael Moor+6 more|arXiv (Cornell University)|Jan 28, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、介入の属性と個人特徴のみを用いて、新しい薬剤などの新しい介入のためのゼロショット予測を可能にする因果的メタラーニングフレームワーク、CaMLを提案する。各介入をメタラーニングタスクとして定式化し、数千件の歴史的介入データ上で統合されたモデルを学習させることで、テストデータに使用された介入とは異なる未観測の介入に対しても、ベースラインを上回る性能で一般化する。

ABSTRACT

Predicting how different interventions will causally affect a specific individual is important in a variety of domains such as personalized medicine, public policy, and online marketing. There are a large number of methods to predict the effect of an existing intervention based on historical data from individuals who received it. However, in many settings it is important to predict the effects of novel interventions (e.g., a newly invented drug), which these methods do not address. Here, we consider zero-shot causal learning: predicting the personalized effects of a novel intervention. We propose CaML, a causal meta-learning framework which formulates the personalized prediction of each intervention's effect as a task. CaML trains a single meta-model across thousands of tasks, each constructed by sampling an intervention, its recipients, and its nonrecipients. By leveraging both intervention information (e.g., a drug's attributes) and individual features~(e.g., a patient's history), CaML is able to predict the personalized effects of novel interventions that do not exist at the time of training. Experimental results on real world datasets in large-scale medical claims and cell-line perturbations demonstrate the effectiveness of our approach. Most strikingly, \method's zero-shot predictions outperform even strong baselines trained directly on data from the test interventions.

研究の動機と目的

• 治療対象の個人に適用されたデータが一切存在しない新しい介入（例：新薬）の因果的効果を予測するという、極めて重要なニーズに対応すること。
• 予測対象の特定の介入の学習データを必要とする従来のCATE推定器の制限を克服すること。
• 介入の属性と個人レベルの特徴を活用することで、新しい介入および新しい個人に対するゼロショット一般化を可能にすること。
• 介入と個人の特徴を統合して、パーソナライズド治療効果を予測するスケーラブルで効果的なメタラーニングフレームワークの開発。
• 単一のメタモデルが、単一の介入にのみ学習させたとしても、新しい介入の組み合わせに一般化できることを実証すること。

提案手法

• 歴史的データからの後向き自然実験を用いて、各介入のパーソナライズド因果的効果予測を別々のメタラーニングタスクとして定式化する。
• 介入特徴（例：薬剤属性）と個人特徴（例：患者の履歴）を統合することで、1つのメタモデルを用いて治療効果を予測する。
• RA-learnerによる擬似アウトカム推定を用いて、各メタタスクの学習ターゲットを計算する：処置済み個体に対して $\tilde{\tau} = Y - \hat{\mu}_0(X)$。
• 介入情報 $W$ をメタモデルの入力に組み込むことで、学習時に見られなかった介入に対してもゼロショット一般化を可能にする。
• メタラーニング最適化（例：Reptile）を用いてメタモデルを学習させ、介入の属性と個人特徴に基づいて新しい介入に適応できるようにする。
• すべてのタスクに共通のアーキテクチャ（例：MLP）を用い、介入表現をエンドツーエンドで学習させることで、多様な介入間での整合性を確保する。

Figure 1: Overview of the zero-shot causal learning problem. Each individual has features ( $X$ ), an intervention with features ( $W$ ), and an outcome ( $Y$ ). Lightning bolts ( \faBolt ) represent interventions ( e.g. drugs). The personalized effect of an intervention ( $\tau$ ) is always unobser

実験結果

リサーチクエスチョン

• RQ1 特定の介入の学習データがまったくない状況でも、1つのメタモデルが新しい介入のパーソナライズド治療効果を予測できるか？
• RQ2 単一の介入にのみ学習させた場合でも、CaMLフレームワークは、新しい介入の組み合わせにどの程度一般化できるか？
• RQ3 テスト介入のデータにファインチューニングされた強力なベースラインと比較して、CaMLによるゼロショット予測は優れているか？
• RQ4 分子構造、薬剤クラスなどの介入属性を組み込むことで、ゼロショット因果一般化にどのような影響を与えるか？
• RQ5 新しい患者サブグループや新しい生物学的文脈において、分布シフトの下でもモデルの性能が安定するか？

主な発見

• CaMLは、医療請求データおよびLINCS細胞線維撹乱データセットの両方で、テスト介入データに直接学習させたベースラインを上回る優れたゼロショット性能を達成した。
• LINCSデータセットでは、CaMLのゼロショットPEHE（異質的効果推定の精度）は、強力なベースラインを著しく下回っており、個別レベルの治療効果推定の高精度を示している。
• 単一の介入にのみ学習させたにもかかわらず、CaMLは推論時に新しい介入の組み合わせの効果を正確に予測でき、強力な構成的一般化能力を示した。
• GraphITE や Structured Intervention Networks といった、同様の能力を持つ文献にのみ登場する他のゼロショット手法を上回る性能を達成した。
• 理論的ゼロショット一般化バウンドを導出し、介入表現の整合性により、介入空間および個人空間の両方で一般化が可能であることを説明した。
• ハイパーパrameter最適化されたStarGraph埋め込みは、下流タスクで93％を超える分類精度を達成しており、介入特徴の有効な表現学習が可能であることを示した。

Figure 2: Visual illustration of the CaML (causal meta-learning) framework. (1) We sample a task (i.e., an intervention) and a natural experiment from the training data consisting of individuals who either received the intervention (W={ \faBolt }), or did not (W={}). Each individual has features ( $