[論文レビュー] Selective machine learning of doubly robust functionals

Yifan Cui, Eric Tchetgen Tchetgen|arXiv (Cornell University)|Nov 5, 2019

Statistical Methods and Inference参考文献 68被引用数 15

ひとこと要約

本稿は、二重ロバスト性を用いて、ネイズンパラメータの最適な機械学習アルゴリズムを選択することでバイアスを低減する、選択的機械学習フレームワークを導入する。新しい擬似リスク基準を用いて、バイアスを最小化する。この手法は、マルチフォールド交差検証を用いてオラクルに近い性能を達成し、シミュレーションおよび実世界のデータを通じて、平均処置効果推定におけるより高いロバスト性を示す。

ABSTRACT

While model selection is a well-studied topic in parametric and nonparametric regression or density estimation, selection of possibly high-dimensional nuisance parameters in semiparametric problems is far less developed. In this paper, we propose a selective machine learning framework for making inferences about a finite-dimensional functional defined on a semiparametric model, when the latter admits a doubly robust estimating function and several candidate machine learning algorithms are available for estimating the nuisance parameters. We introduce a new selection criterion aimed at bias reduction in estimating the functional of interest based on a novel definition of pseudo-risk inspired by the double robustness property. Intuitively, the proposed criterion selects a pair of learners with the smallest pseudo-risk, so that the estimated functional is least sensitive to perturbations of a nuisance parameter. We establish an oracle property for a multi-fold cross-validation version of the new selection criterion which states that our empirical criterion performs nearly as well as an oracle with a priori knowledge of the pseudo-risk for each pair of candidate learners. Finally, we apply the approach to model selection of a semiparametric estimator of average treatment effect given an ensemble of candidate machine learners to account for confounding in an observational study which we illustrate in simulations and a data application.

研究の動機と目的

• 高次元のネイズンパラメータにおけるモデル選択手法の欠如、特に関数型が二重ロバスト推定関数を備える場合に、その問題に対処すること。
• ネイズンパラメータ推定値の摂動に対する感受性を最小化することで、関数型推定におけるバイアスを低減する選択基準を開発すること。
• 提案された選択基準の交差検証版に対して、理論的保証（特にオラクル性）を確立すること。
• 交差検証を用いた手法を、交差混同を考慮した観察研究における平均処置効果推定に適用すること。
• 関数型の感受性を無視して単一の学習器を事前に指定する従来のアプローチと比較して、推定におけるロバスト性と正確性の向上を示すこと。

提案手法

• 二重ロバスト性の性質に基づく、新しい擬似リスク測度を導入。これは、一方のネイズンパラメータを摂動させながら他方を固定した場合の関数型推定値の平均二乗偏差として定義される。
• 各ペアの候補学習器（処置確率用、アウトカム回帰用）の擬似リスクを推定するために、マルチフォールド交差検証を採用。
• いずれのネイズンパラメータの摂動に対しても感受性が最も低い組み合わせ、すなわち推定された擬似リスクが最小となる学習器ペアを選択。
• サンプル分割を用いて関数型推定値と分散を計算し、漸近正規性と有効な推論を保証。
• Lasso、L1正則化付きロジスティック回帰、およびその他の柔軟な推定器を含む、広範な候補機械学習モデルのクラスにこの選択基準を適用。
• 両方のネイズンモデルにおける誤指定の可能性を考慮したバイアス補正項を、選択基準に組み込む。この補正項は、二重ロバスト構造を活用している。

実験結果

リサーチクエスチョン

• RQ1 予測誤差ではなく、二重ロバスト関数型におけるバイアス低減を明示的にターゲットにしたモデル選択基準を開発できるか？
• RQ2 擬似リスクに基づく交差検証選択ルールは、各学習器ペアの真の擬似リスクが事前に分かっているオラクルに近い性能を達成できるか？
• RQ3 平均処置効果推定において、提案手法は、ターゲットマックスイミング推定（TMLE）やスーパー・ラーナーといった標準的手法と比較して、バイアスと信頼性の範囲にどのような差をもたらすか？
• RQ4 本手法は、アウトカムモデルまたは処置確率モデルのいずれかの誤指定に対しても耐性を持つ機械学習アルゴリズムを効果的に選択できるか？
• RQ5 高次元の交絡要因設定下で、モデル選択は平均処置効果の信頼区間の幅と正確性にどのような影響を与えるか？

主な発見

• 提案された擬似リスクに基づく選択基準は、オラクル性を達成しており、真の擬似リスクが事前に分かっている場合とほぼ同等の性能を示す。
• SUPPORTデータ応用において、処置確率モデルにはL1正則化付きロジスティック回帰、アウトカムモデルにはLassoが選択され、推定された平均処置効果は -0.0661 であった。
• 95％信頼区間は (-0.0976, -0.0345) であり、他の改善型推定器よりもわずかに広いが、より良いモデル選択によるバイアス低減のおかげで、より正確である可能性がある。
• この推定効果は、TMLEにスーパー・ラーナーを適用した場合（-0.0586）、BR推定器（-0.0610 から -0.0612）、およびキャリブレート尤度推定器（-0.0622）の結果よりも小さく、過去の推定値が依然として微小な誤指定バイアスに影響を受けていた可能性を示唆している。
• 本手法は、ネイズンパラメータの摂動に対する感受性を最小化するモデルを選択することで、セミパラメトリック推論におけるバイアス低減の役割を果たすという点でロバストであることが示された。
• 理論的および実証的結果により、擬似リスクを用いたバイアスに配慮したモデル選択が、標準的手法よりも、二重ロバストな設定下でより信頼性の高い推論をもたらすことが確認された。