[논문 리뷰] Doubly Robust Augmented Model Accuracy Transfer Inference with High Dimensional Features

Doudou Zhou, Molei Liu외 2명|arXiv (Cornell University)|2022. 08. 10.

Cancer-related molecular mechanisms research인용 수 4

한 줄 요약

이 논문은 공변량 이탈 하에서 라벨이 부여된 소스 데이터를 사용하여 고차원적이고 라벨이 없는 타겟 집단에서 모델 정확도를 이전하고 평가하기 위한 이중 강건한 방법인 DRAMATIC을 제안한다. 보정된 모멘트 방정식과 함께 보정된 임퓨티이션 및 밀도 비율 모델을 결합함으로써 DRAMATIC은 ROC 곡선과 성능 지표에 대해 $n^{1/2}$-일致 추정을 달성하며, 분포 이탈 상황에서도 기존 방법에 비해 편향 감소와 커버리지 측면에서 뛰어난 성능을 보인다.

ABSTRACT

Due to label scarcity and covariate shift happening frequently in real-world studies, transfer learning has become an essential technique to train models generalizable to some target populations using existing labeled source data. Most existing transfer learning research has been focused on model estimation, while there is a paucity of literature on transfer inference for model accuracy despite its importance. We propose a novel $\mathbf{D}$oubly $\mathbf{R}$obust $\mathbf{A}$ugmented $\mathbf{M}$odel $\mathbf{A}$ccuracy $\mathbf{T}$ransfer $\mathbf{I}$nferen$\mathbf{C}$e (DRAMATIC) method for point and interval estimation of commonly used classification performance measures in an unlabeled target population using labeled source data. Specifically, DRAMATIC derives and evaluates the risk model for a binary response $Y$ against some low dimensional predictors $\mathbf{A}$ on the target population, leveraging $Y$ from source data only and high dimensional adjustment features $\mathbf{X}$ from both the source and target data. The proposed estimators are doubly robust in the sense that they are $n^{1/2}$ consistent when at least one model is correctly specified and certain model sparsity assumptions hold. Simulation results demonstrate that the point estimation have negligible bias and the confidence intervals derived by DRAMATIC attain satisfactory empirical coverage levels. We further illustrate the utility of our method to transfer the genetic risk prediction model and its accuracy evaluation for type II diabetes across two patient cohorts in Mass General Brigham (MGB) collected using different sampling mechanisms and at different time points.

연구 동기 및 목표

• 타겟 집단에서 골드 스탠다드 라벨이 부족한 상황에서 전이 학습의 모델 성능 평가에 있어 핵심적인 격차를 해소한다.
• 라벨이 부여된 소스 데이터를 사용하여 라벨이 없는 타겟 집단에서 분류 성능 지표(예: AUC 및 ROC)의 정확한 점 추정과 구간 추정을 가능하게 한다.
• 소스와 타겟 집단 간의 분포 이탈(공변량 이탈)과 고차원적 공변량의 과제를 극복한다.
• 임퓨티이션 모델 또는 밀도 비율 모델 중 하나가 잘못 지정되어도 여전히 일致하고 효율적인 추정을 보장하는 방법을 개발한다.
• 새로운 보정된 모멘트 방정식 프레임워크를 통해 고차원의 부수적 추정치에서 발생하는 정규화 편향을 완화한다.

제안 방법

• 소스 데이터의 $Y$와 소스 및 타겟 모두의 고차원 특징 $\mathbf{X}$만을 사용하여 타겟 집단에서의 위험 모델 $\mathbb{P}(Y=1 \mid \mathbf{A})$에 대한 이중 강건한 추정 방정식을 수립한다.
• 공변량 이탈를 고려하기 위해 $\mathbb{E}[Y \mid \mathbf{X}]$의 임퓨티이션과 $\frac{p_{\text{target}}(\mathbf{X})}{p_{\text{source}}(\mathbf{X})}$의 밀도 비율을 동시에 모델링한다.
• 임퓨티이션 및 밀도 비율 모델의 고차원 부수적 추정치에서 발생하는 정규화 편향을 보정하기 위해 보정된 모멘트 방정식을 구성한다.
• 전체 ROC 곡선 추정에서 통계적 효율성과 계산 가능성을 확보하기 위해 새로운 '가장 가까운 분위수' 전략을 적용한다.
• 보정된 모멘트 프레임워크를 사용하여 AUC, ROC(0.1), ROC(0.2)에 대한 이중 강건한 추정치와 유효한 95% 신뢰구간을 유도한다.
• 엄격한 $l_0$ 희박성 대신 $l_r$ 노름($r \in [0,1]$)에 대한 희박성 가정을 사용하여 모델의 유연성과 현실성 향상을 도모한다.

Figure 1 : The nearest quantile strategy. The quantiles $\widehat{c}_{j}$ ’s are set to divide the source sample equally such that $n_{j}-n_{j+1}=n_{\min}$ and $n_{m}=n_{\min}$ . The nuisance models are calibrated at these quantiles for the doubly robust estimation of $\mathbf{TPR}$ and $\mathbf{FPR

실험 결과

연구 질문

• RQ1 라벨이 부여된 소스 데이터만 존재할 때, 고차원적이고 라벨이 없는 타겟 집단에서 AUC, ROC 등의 모델 정확도 지표에 대해 일치하고 효율적인 추정이 가능할 수 있는가?
• RQ2 임퓨티이션 모델 또는 밀도 비율 모델 중 하나가 잘못 지정된 경우에도 모델 정확도 전이에 대해 강건성을 확보할 수 있는가?
• RQ3 전체 ROC 곡선 추정에서 고차원 부수적 추정치의 정규화 편향을 효과적으로 보정할 수 있는 방법은 무엇인가?
• RQ4 고차원적 특징이 존재하는 분포 이탈 상황에서 성능 지표에 대한 유효한 신뢰구간을 구성할 수 있는가?
• RQ5 기존 방법들(예: 중요도 가중치, 임퓨티이션, 단순 소스 추정)과 비교할 때 제안된 방법은 편향, 커버리지, 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• DRAMATIC은 검증 기준 ROC 곡선과의 전체 거리(TV 거리)가 가장 작았으며, 단순 소스 추정치보다 41% 작고, 중요도 가중치 방법보다 58% 작으며, 임퓨티이션 기반 방법보다 32% 작았다.
• DRAMATIC의 rMSPE(상대 평균제곱예측오차)는 단순 소스 추정치보다 68% 낮았고, 중요도 가중치 방법보다 54% 낮았으며, 임퓨티이션 방법보다 34% 낮았다.
• AUC와 ROC(0.1)에 대한 95% 신뢰구간은 검증 추정치를 정확히 포함했으며, 중간 수준의 합리적인 길이를 보였다.
• AUC 측면에서 DRAMATIC의 추정치(0.671)는 타겟 값(0.656)에 가장 가까웠으며, 95% 신뢰구간(0.622, 0.720)을 제공하여 모든 다른 방법보다 진짜 값에 가까웠다.
• DRAMATIC에서 추정한 ROC 곡선(그림 2의 빨간 점선)은 시각적으로나 정량적으로나 검증 기준(_blk_ solid line)에 가장 가까웠으며, 우수한 곡선 추정 성능을 확인했다.
• 모델 잘못 지정 상황에서도 강건성을 입증했다: 적절한 희박성 조건 하에 임퓨티이션 또는 밀도 비율 모델 중 하나가 올바르게 지정된 경우 일관된 추정이 달성되었다.

Figure 2 : Estimated ROC curves. Source: naive source data estimator; DRAMATIC: our proposed doubly robust method; IW: importance weighting method; IM: imputation based method; Target: benchmark obtained using the validation samples.