[論文レビュー] Adversarial Balancing for Causal Inference

Michal Ozery-Flato, Pierre Thodoroff+3 more|arXiv (Cornell University)|Oct 17, 2018

Machine Learning in Healthcare被引用数 5

ひとこと要約

本稿では、生成的敵対ネットワーク（GANs）の原則を用いて二段階最適化によりバランス重みを生成する、因果推論のための敵対的バランス化フレームワークを提案する。ディスクライマは治療群と対照群を分類するが、重み生成器は指数勾配降下法を用いてディスクライマの誤差を最小化する。この手法は複数のベンチマークで最先端の性能を達成し、さまざまな分類器に対して安定しており、従来の再重み付け手法よりも推定精度が向上する。

ABSTRACT

Biases in observational data of treatments pose a major challenge to estimating expected treatment outcomes in different populations. An important technique that accounts for these biases is reweighting samples to minimize the discrepancy between treatment groups. We present a novel reweighting approach that uses bi-level optimization to alternately train a discriminator to minimize classification error, and a balancing weights generator that uses exponentiated gradient descent to maximize this error. This approach borrows principles from generative adversarial networks (GANs) to exploit the power of classifiers for measuring two-sample divergence. We provide theoretical results for conditions in which the estimation error is bounded by two factors: (i) the discrepancy measure induced by the discriminator; and (ii) the weights variability. Experimental results on several benchmarks comparing to previous state-of-the-art reweighting methods demonstrate the effectiveness of this approach in estimating causal effects.

研究の動機と目的

• 治療群と対照群の共変量分布に差がある観察データにおけるバイアスを解消し、正確な因果効果推定を可能にする。
• 敵対的訓練の原則を用いて、治療群間の乖離を最小化する新しい再重み付け手法を開発する。
• 二段階最適化フレームワークにおいて分類器を乖離の指標として用い、安定的で分散が小さいバランス重みを生成する。
• ディスクライマの性能と重みのばらつきに基づいて、推定誤差の理論的境界を提供する。
• クロスバリデーションを用いて多様なベンチマークで手法を実証的に検証し、分類器の選択に対して強い耐性を示す。

提案手法

• フレームワークは二人ゲームを採用する：ディスクライマは個人を治療群または対照群に分類するように訓練され、重み生成器は訓練サンプルを再重み付けしてディスクライマをだます。
• 重み生成器は指数勾配降下法を用いて重みを更新し、正規化され、一様に近づくように保証し、ディスクライマの分類誤差を最小化する。
• ディスクライマの損失関数は治療群と対照群間の乖離指標として用いられ、0-1損失は統計的確率測度（IPM）を形成する。
• この手法は二段階最適化として定式化される：まずディスクライマを訓練し、次に重みを更新してディスクライマの誤差を最大化する。これによりフィードバックループが形成される。
• 任意の分類器（例：ロジスティック回帰、SVM、MLP）をフレームワークに組み込むことができ、一般化性能を最適化するためにクロスバリデーションによるモデル選択が可能である。
• 理論的分析により、推定誤差はディスクライマの分類誤差と重みのばらつきによって上限付けられ、安定的で正則化された分類器の使用が正当化される。

実験結果

リサーチクエスチョン

• RQ1 GANの敵対的訓練の原則を、観察研究における因果推論のバランス重み生成に適応できるか？
• RQ2 分類器の選択が敵対的バランス化フレームワークの性能と耐性に与える影響は何か？
• RQ3 ディスクライマの性能と重みの安定性を根拠に、推定誤差に対してどのような理論的保証を提供できるか？
• RQ4 IPW、CBPS、EBALといった従来の再重み付け手法に比べ、本手法は多様なデータ分布において因果効果推定を優れているか？
• RQ5 事前にデータ構造を知らない状態で、クロスバリデーションが最適な分類器を信頼性高く選択できるか？

主な発見

• 敵対的バランス化手法は、Kang-Schafer、Circular、ACICの3つのベンチマークすべてで最先端の性能を達成し、ほとんどの場合CBPS、EBAL、MMD-V2を上回った。
• ADV-LR、ADV-SVM、ADV-MLPの各バリエーションはそれぞれ異なるベンチマークで最高の性能を示し、データ特性に柔軟に適応できることを示した。
• クロスバリデーション手順により各ケースで最適な分類器が選択され、自動選択された分類器を用いた敵対的手法は全体で2位を達成した。これは非常に高い耐性を示している。
• IPWや他の再重み付けベースラインに比べ、推定分散の低減とバイアス補正の向上という点で優れた性能を示した。
• 理論的分析により、推定誤差がディスクライマの分類誤差と重みのばらつきによって上限付けられることを確認し、手法の設計が正当化された。
• 指数勾配降下法は、正規化され、分散が小さい重みを効果的に生成し、ディスクライマが治療群を区別できないようにするのに有効であった。