[論文レビュー] Doubly Robust Augmented Model Accuracy Transfer Inference with High Dimensional Features

Doudou Zhou, Molei Liu+2 more|arXiv (Cornell University)|Aug 10, 2022

Cancer-related molecular mechanisms research被引用数 4

ひとこと要約

本稿では、共変量シフト下でラベル付きソースデータを用いて、ラベルなしの高次元ターゲット集団におけるモデル精度の転送と評価のための二重にロバストな手法である DRAMATIC を提案する。推定のための補正付きモーメント方程式を用いて、補完モデルと密度比モデルを統合することで、ROC曲線および性能指標の $n^{1/2}$-一貫性推定を達成し、分布シフト下でもバイアス低減とカバレッジの両面で既存手法を上回る性能を発揮する。

ABSTRACT

Due to label scarcity and covariate shift happening frequently in real-world studies, transfer learning has become an essential technique to train models generalizable to some target populations using existing labeled source data. Most existing transfer learning research has been focused on model estimation, while there is a paucity of literature on transfer inference for model accuracy despite its importance. We propose a novel $\mathbf{D}$oubly $\mathbf{R}$obust $\mathbf{A}$ugmented $\mathbf{M}$odel $\mathbf{A}$ccuracy $\mathbf{T}$ransfer $\mathbf{I}$nferen$\mathbf{C}$e (DRAMATIC) method for point and interval estimation of commonly used classification performance measures in an unlabeled target population using labeled source data. Specifically, DRAMATIC derives and evaluates the risk model for a binary response $Y$ against some low dimensional predictors $\mathbf{A}$ on the target population, leveraging $Y$ from source data only and high dimensional adjustment features $\mathbf{X}$ from both the source and target data. The proposed estimators are doubly robust in the sense that they are $n^{1/2}$ consistent when at least one model is correctly specified and certain model sparsity assumptions hold. Simulation results demonstrate that the point estimation have negligible bias and the confidence intervals derived by DRAMATIC attain satisfactory empirical coverage levels. We further illustrate the utility of our method to transfer the genetic risk prediction model and its accuracy evaluation for type II diabetes across two patient cohorts in Mass General Brigham (MGB) collected using different sampling mechanisms and at different time points.

研究の動機と目的

• ターゲット集団にゴールスタンダードのラベルが限られる状況において、転移学習におけるモデル性能評価の重要なギャップを埋めること。
• ラベル付きソースデータを用いて、ラベルなしのターゲット集団における分類性能指標（AUC や ROC など）の正確な点推定と区間推定を可能にすること。
• ソース集団とターゲット集団の間の分布シフト（共変量シフト）と高次元の共変量の課題に立ち向かうこと。
• 補完モデルまたは密度比モデルのいずれかが誤指定であっても、一貫性と効率性を保つ手法を開発することにより、ロバスト性を確保すること。
• 補完モデルおよび密度比モデルの高次元のヌイアンス推定器に生じる正則化バイアスを、新規の補正付きモーメント方程式フレームワークにより是正すること。

提案手法

• ソース集団の $Y$ とソースおよびターゲット両方の高次元特徴量 $\mathbf{X}$ のみを用いて、ターゲット集団におけるリスクモデル $\mathbb{P}(Y=1 \mid \mathbf{A})$ の二重にロバストな推定方程式を定式化する。
• 共変量シフトを反映するために、$\mathbb{E}[Y \mid \mathbf{X}]$ の補完と $\frac{p_{\text{target}}(\mathbf{X})}{p_{\text{source}}(\mathbf{X})}$ の密度比を同時にモデル化する。
• 補完モデルおよび密度比モデルの高次元ヌイアンス推定器における正則化バイアスを是正するため、補正付きモーメント方程式を構築する。
• 全ROC曲線推定における統計的効率性と計算可能性を確保するため、新規の「最近似分位点」戦略を適用する。
• 補正付きモーメントフレームワークを用いて、AUC、ROC(0.1)、ROC(0.2) の二重にロバストな推定量と有効な95％信頼区間を導出する。
• 厳密な $l_0$ スパarsity ではなく、$r \in [0,1]$ の $l_r$ ノルムに対するスパarsity仮定を用いることで、モデルの柔軟性と現実性を高める。

Figure 1 : The nearest quantile strategy. The quantiles $\widehat{c}_{j}$ ’s are set to divide the source sample equally such that $n_{j}-n_{j+1}=n_{\min}$ and $n_{m}=n_{\min}$ . The nuisance models are calibrated at these quantiles for the doubly robust estimation of $\mathbf{TPR}$ and $\mathbf{FPR

実験結果

リサーチクエスチョン

• RQ1 ラベル付きソースデータのみが利用可能な状況で、ラベルなしのターゲット集団におけるモデル精度指標（例：AUC、ROC）の一致性と効率性のある推定が可能か？
• RQ2 補完モデルまたは密度比モデルのいずれかが誤指定であっても、モデル精度の転送におけるロバスト性をどのように確保できるか？
• RQ3 全ROC曲線推定において、高次元ヌイアンス推定器に生じる正則化バイアスを是正する有効な方法は何か？
• RQ4 高次元特徴量と分布シフト下で、性能指標の有効な信頼区間を構築できるか？
• RQ5 従来の手法（例：重み付けの重要度、補完、ナイーブなソース推定）と比較して、提案手法はバイアス、カバレッジ、精度の観点でどのように優れているか？

主な発見

• DRAMATIC はバリデーションベンチマークのROC曲線との全変動距離（TV距離）が最小であり、ナイーブなソース推定器に比べて41％小さく、重み付け手法に比べて58％小さく、補完ベース手法に比べて32％小さい。
• DRAMATIC の rMSPE（相対平均二乗予測誤差）は、ナイーブなソース推定器に比べて68％低く、重み付け手法に比べて54％低く、補完法に比べて34％低い。
• DRAMATIC が生成した AUC および ROC(0.1) の95％信頼区間は、バリデーション推定器を正しくカバーしており、適度で妥当な長さを有していた。
• AUCの観点から見ると、DRAMATIC の推定値（0.671）はターゲット値（0.656）に最も近く、95％信頼区間（0.622, 0.720）を有し、真の値に近いという点で他のすべての手法を上回った。
• DRAMATIC からの推定ROC曲線（図2の赤破線）は、視覚的および定量的にバリデーションベンチマーク（黒実線）に最も近く、優れた曲線推定を確認した。
• モデル誤指定下でもロバスト性を示した：適切なスパarsity条件の下で、補完モデルまたは密度比モデルのいずれかが正しく指定されていれば、一貫性のある推定が達成された。

Figure 2 : Estimated ROC curves. Source: naive source data estimator; DRAMATIC: our proposed doubly robust method; IW: importance weighting method; IM: imputation based method; Target: benchmark obtained using the validation samples.