[論文レビュー] MetaCI: Meta-Learning for Causal Inference in a Heterogeneous Population

Ankit Sharma, Garima Gupta+4 more|arXiv (Cornell University)|Dec 9, 2019

Advanced Causal Inference Techniques参考文献 18被引用数 12

ひとこと要約

MetaCI は、再帰的最適化（Reptile）に基づくメタ最適化を活用して、深層ニューラルネットワークの頑健な初期化を学習することにより、異質な集団における因果推論を向上させるメタラーニングフレームワークを提案する。特に共変量シフトおよびコンセプトシフト下でも、ランダム初期化やベースラインと比較して、平均処理効果（ATE）推定における平均絶対誤差（MAPE）を顕著に低減する。

ABSTRACT

Performing inference on data obtained through observational studies is becoming extremely relevant due to the widespread availability of data in fields such as healthcare, education, retail, etc. Furthermore, this data is accrued from multiple homogeneous subgroups of a heterogeneous population, and hence, generalizing the inference mechanism over such data is essential. We propose the MetaCI framework with the goal of answering counterfactual questions in the context of causal inference (CI), where the factual observations are obtained from several homogeneous subgroups. While the CI network is designed to generalize from factual to counterfactual distribution in order to tackle covariate shift, MetaCI employs the meta-learning paradigm to tackle the shift in data distributions between training and test phase due to the presence of heterogeneity in the population, and due to drifts in the target distribution, also known as concept shift. We benchmark the performance of the MetaCI algorithm using the mean absolute percentage error over the average treatment effect as the metric, and demonstrate that meta initialization has significant gains compared to randomly initialized networks, and other methods.

研究の動機と目的

• 異質な集団における新たな未観測サブグループへの因果推論モデルの一般化の課題に対処すること。
• 現実世界の観察データに一般的に見られる分布シフト（特にコンセプトシフトおよび共変量シフト）を克服すること。
• 深層ニューラルネットワークをメタラーニングで初期化することで、平均処理効果（ATE）推定の精度を向上させること。
• 従来のサブグループ分析に代わる、サブグループ間の共通構造を発見するタスクベースのメタラーニングパラダイムを導入すること。
• 推論時におけるデータ分布シフト下でも、モデルの頑健性と一般化性能を示すこと。

提案手法

• 交絡要因に基づいて導出されたサブグループを用いてメタラーニングのタスクを定義し、サブポピュレーション間の共有パターンから学習できるようにする。
• ネットワークパラメータを複数のタスクにわたって更新することで、強力な初期パラメータ設定を学習するため、Reptile アルゴリズムをメタ最適化に適用する。
• 表現層と仮説層に異なる学習率を適用することで学習の安定性を高め、一般化性能を向上させる、マルチ-Reptile を導入する。
• 事実的および反事実的結果をモデル化する深層ニューラルネットワークアーキテクチャを採用し、交絡変数を考慮する。損失関数はメタ最適化により最小化される。
• 実世界の異質性を模擬するため、制御された分布シフトを伴う合成および準合成データセット（IHDP および広告ドメイン）を用いてモデルを学習する。
• さまざまなタスク数やミキシング戦略の下での性能評価のため、ATE の MAPE を主な指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、異質な集団における未観測サブグループへの因果推論モデルの一般化を改善できるか？
• RQ2 分布シフト下で、Reptile によるメタ初期化はランダム初期化と比較して ATE 推定の精度にどのように影響するか？
• RQ3 タスク数やミキシング戦略（k）を変化させた場合、MetaCI フレームワークの性能にどのような影響があるか？
• RQ4 表現層と仮説層間の相対的学習率の違いは、モデルの収束性および ATE 推定精度にどのように影響するか？
• RQ5 MetaCI は、観察データにおいて共変量シフトとコンセプトシフトを同時に処理できるか、その程度はどの程度か？

主な発見

• IHDP データセットにおいて、7つのタスクと4つのミキシングチャンクを用いた場合、MetaCI は RandomCI に比べて ATE の MAPE を最大 70% 減少させた。
• 7つのタスクを用いた合成データセットでは、MetaCI は MAPE 0.5528 を達成したのに対し、RandomCI は 0.6976 であった。これにより一貫した改善が確認された。
• 3つのミキシングチャンクと単一特徴タスクを用いた場合、MetaCI は合成データセットで MAPE 0.2473 を達成し、RandomCI（1.3160）を著しく上回った。
• 表現層の学習率を遅くする（εϕ < εh）マルチ-Reptile を使用した場合、MetaCI は IHDP データセットで真値から 0.01 以内の ATE 推定を達成した。
• 共変量シフトとコンセプトシフトが同時に発生する状況（例：3つのデータ生成プロセス）において、合成データセットでは MetaCI の平均 ATE MAPE は 1.3153 であったのに対し、RandomCI は 2.0104 であった。
• 特にデータ生成プロセス（DGPs）の数が増加する際、コンセプトシフト下でも収束が早く、安定性に優れた性能を示した。