[論文レビュー] Regularized calibrated estimation of propensity scores with model misspecification and high-dimensional data

Zhiqiang Tan|arXiv (Cornell University)|Oct 23, 2017

Advanced Causal Inference Techniques参考文献 2被引用数 17

ひとこと要約

本稿では、モデルの誤指定や高次元の共変量が存在する状況下でも逆確率重み付け（IPW）の性能を向上させる正則化されたキャリブレーション推定量を提案する。著者らは、新規のフィッシャー・スコア降下アルゴリズムを用いて、Lasso正則化を施したキャリブレーション損失を最小化することで、IPW推定量の平均二乗誤差を低減し、高次元の一貫性を達成する。シミュレーションおよび実応用において、最尤推定や標準的な正則化手法を上回る性能を示した。

ABSTRACT

Propensity score methods are widely used for estimating treatment effects from observational studies. A popular approach is to estimate propensity scores by maximum likelihood based on logistic regression, and then apply inverse probability weighted estimators or extensions to estimate treatment effects. However, a challenging issue is that such inverse probability weighting methods including doubly robust methods can perform poorly even when the logistic model appears adequate as examined by conventional techniques. In addition, there is increasing difficulty to appropriately estimate propensity scores when dealing with a large number of covariates. To address these issues, we study calibrated estimation as an alternative to maximum likelihood estimation for fitting logistic propensity score models. We show that, with possible model misspecification, minimizing the expected calibration loss underlying the calibrated estimators involves reducing both the expected likelihood loss and a measure of relative errors which controls the mean squared errors of inverse probability weighted estimators. Furthermore, we propose a regularized calibrated estimator by minimizing the calibration loss with a Lasso penalty. We develop a novel Fisher scoring descent algorithm for computing the proposed estimator, and provide a high-dimensional analysis of the resulting inverse probability weighted estimators of population means, leveraging the control of relative errors for calibrated estimation. We present a simulation study and an empirical application to demonstrate the advantages of the proposed methods compared with maximum likelihood and regularization.

研究の動機と目的

• 傾向スコアモデルがわずかに誤指定されている場合でも、従来の基準では良好に適合しているにもかかわらず、逆確率重み付け（IPW）手法の性能が著しく低下することへの対処。
• 共変量の数が大きいか、標本サイズと同等かそれ以上である高次元設定において、最尤推定の限界を克服すること。
• モデル誤指定や高次元共変量の下でも一貫性と効率性を保つ理論的裏付けを持つ、正則化されたキャリブレーション推定量の開発。
• 相対誤差の尺度による平均二乗誤差の制御を確立するため、得られたIPW推定量の高次元漸近的解析を提供すること。
• 高次元設定において、正則化されたキャリブレーション推定量を効率的に計算するための新規なフィッシャー・スコア降下アルゴリズムの導入。

提案手法

• 被験群と全標本の共変量平均のバランスを強制するように、キャリブレーション損失を最小化する形でキャリブレーション推定を定式化する。
• 変数選択と高次元共変量の取り扱いを可能にするために、キャリブレーション損失にLasso正則化を導入する。
• 正則化されたキャリブレーション推定量を反復的に計算するための新規なフィッシャー・スコア降下アルゴリズムを開発し、収束性と計算可能性を保証する。
• キャリブレーション損失は、期待される尤度損失と相対誤差の尺度を同時に最小化する。この相対誤差の尺度が、IPW推定量の平均二乗誤差を制御する。
• 相対誤差の制御を活用して、得られたIPW推定量の高次元漸近理論を導出する。この理論により、母平均推定量の高次元一貫性が保証される。
• 被験群における重み付き共変量バランスを強制する推定方程式を用いる。これにより、モデル誤指定に対してロバストな性能が得られる。

実験結果

リサーチクエスチョン

• RQ1 モデル誤指定が存在する状況下で、キャリブレーション推定が最尤推定に正式な利点を提供できるか？
• RQ2 p ≈ n または p > n のような高次元設定において、キャリブレーション推定をどのように拡張・分析できるか？
• RQ3 モデル誤指定が逆確率重み付け推定量の性能に与える影響は何か？ また、キャリブレーション推定はその影響を軽減できるか？
• RQ4 正則化されたキャリブレーション推定量は、IPW推定において高次元一貫性と平均二乗誤差の制御を達成できるか？
• RQ5 どのようなアルゴリズムフレームワークが、高次元設定下で正則化されたキャリブレーション推定量を効率的に計算可能にするか？

主な発見

• キャリブレーション推定量は、期待尤度損失と相対誤差の尺度の両方を低減する。この相対誤差の尺度が、逆確率重み付け推定量の平均二乗誤差を直接制御する。
• 提案された正則化キャリブレーション推定量は、適切な正則性条件の下で、母平均のIPW推定量に対して高次元一貫性を達成する。
• 新規のフィッシャー・スコア降下アルゴリズムにより、高次元設定下でも安定的かつ効率的な正則化キャリブレーション推定量の計算が可能になる。
• シミュレーション研究および実応用の結果、提案手法はバイアスと平均二乗誤差の観点で、最尤推定および標準的な正則化手法を上回る性能を示した。
• 傾向スコアモデルとアウトカム回帰モデルの両方が誤指定されている場合でも、本手法は一貫性とロバスト性を維持する。これは、二重にロバストな手法とは異なり、本手法はそのような状況下でも性能を発揮する。
• 理論的解析により、推定量が相対誤差を有界化することで、IPW推定量の平均二乗誤差を制御していることが示された。これは、高次元かつモデル誤指定が生じる状況において極めて重要である。