[論文レビュー] Estimating Average Treatment Effects with Support Vector Machines

Alexander Tarr, Kosuke Imai|arXiv (Cornell University)|Feb 23, 2021

Advanced Causal Inference Techniques参考文献 43被引用数 4

ひとこと要約

本稿では、サポートベクターマシン（SVM）を用いて平均処置効果（ATE）を推定する新しい手法を提案する。SVMの双対係数をカーネルベースのバランス重みとして活用し、最大平均差分（MMD）を最小化するとともに、有効サンプルサイズを最大化する。このアプローチにより、基数マッチングの連続的リラクゼーションが実現され、SVMパスアルゴリズムを用いることでバランスとサンプルサイズのフロンティアを効率的に探索でき、安定的でバイアス低減型の因果推定が可能となり、最先端の手法と同等の性能を示す。

ABSTRACT

Support vector machine (SVM) is one of the most popular classification algorithms in the machine learning literature. We demonstrate that SVM can be used to balance covariates and estimate average causal effects under the unconfoundedness assumption. Specifically, we adapt the SVM classifier as a kernel-based weighting procedure that minimizes the maximum mean discrepancy between the treatment and control groups while simultaneously maximizing effective sample size. We also show that SVM is a continuous relaxation of the quadratic integer program for computing the largest balanced subset, establishing its direct relation to the cardinality matching method. Another important feature of SVM is that the regularization parameter controls the trade-off between covariate balance and effective sample size. As a result, the existing SVM path algorithm can be used to compute the balance-sample size frontier. We characterize the bias of causal effect estimation arising from this trade-off, connecting the proposed SVM procedure to the existing kernel balancing methods. Finally, we conduct simulation and empirical studies to evaluate the performance of the proposed methodology and find that SVM is competitive with the state-of-the-art covariate balancing methods.

研究の動機と目的

• 観察研究における平均処置効果（ATE）の推定のため、サポートベクターマシン（SVM）を用いた新しい手法を開発すること。
• SVMの双対係数を最大平均差分（MMD）を最小化する重み付けスキームとして解釈することで、共変量バランスのためのSVMの有用性を確立すること。
• 理論的・アルゴリズム的知見を通じて、SVMを基数マッチングやカーネルオプティマルマッチング（KOM）といった既存の因果推定手法と結びつけること。
• SVM正則化パスがバランスとサンプルサイズのフロンティアを効率的に探索できることを示し、最適なパrameter選択を支援すること。

提案手法

• ソフトマージンSVMの双対最適化問題を変更し、処置群と対照群の間のMMDを最小化するバランス重みを生成する。
• SVMの双対係数をカーネルベースの重みとして用い、同時に有効サンプルサイズを最大化する。
• SVMの双対問題を、最大バランスサブセットを求める二次整数計画問題の連続的リラクゼーションとして解釈し、基数マッチングと直接的な関連を確立する。
• 既存のSVMパスアルゴリズムを活用して、正則化パス全体にわたる解を計算し、バランスとサンプルサイズのフロンティアを生成する。
• SVM重みが予後スコアの不均衡に起因する最悪ケースバイアスを最小化することを示し、SVMとカーネルオプティマルマッチング（KOM）との関連を明示する。
• パスアルゴリズムを用いて共変量のバランスと有効サンプルサイズのトレードオフを分析し、頑健なパrameter選択を支援する。

実験結果

リサーチクエスチョン

• RQ1 SVMを用いることで、観察研究における共変量のバランスを達成し、平均処置効果を推定できるか？
• RQ2 SVMの双対定式化は、マッチング手法における最大バランスサブセットを求める問題とどのように関連しているか？
• RQ3 SVM正則化パrameterは、共変量のバランスと有効サンプルサイズのトレードオフをどのように制御するか？
• RQ4 本手法は、最先端の重み付けおよびマッチング手法と比較して、バイアス、分散、および頑健性の観点でどのように異なるか？
• RQ5 SVMパスアルゴリズムを用いて、因果推定のためのバランスとサンプルサイズのフロンティアを体系的かつ可視化的に探索できるか？

主な発見

• SVMの双対係数は、処置群と対照群の間の最大平均差分（MMD）を最小化するとともに、有効サンプルサイズを最大化するバランス重みを生成する。
• SVMの双対問題は、最大バランスサブセットを求める整数計画問題の連続的リラクゼーションであり、基数マッチングと直接的な関連を有する。
• SVMにおける正則化パrameterは、共変量のバランスと有効サンプルサイズのトレードオフを制御し、パスアルゴリズムを用いることでバランスとサンプルサイズのフロンティアを体系的に探索可能である。
• シミュレーションおよび実データ分析において、SVMはKOMやCARDといった最先端の手法と同等のATE推定を達成するが、最もバランスの取れた解（SVMbalance）では標準誤差が高く、信頼区間が広がることが観察された。
• SVMパスの分析から、正則化パrameterの不適切な選択（例：最もバランスの良い解を選択）は、過剰にサンプルが削除され、推定が不安定になる原因となることが明らかになった。特にRBFカーネル設定では、SVMbalanceの95%信頼区間が0を含んでおり、その影響が顕著に現れた。
• 多項式カーネルおよびRBFカーネルの両設定において、本手法はKCBやCARDを上回る精度と効果推定の安定性を示した。一方、多項式カーネル設定ではKOMがより高い推定値を示したが、標準誤差も大きかった。