[논문 리뷰] Augmented Transfer Regression Learning with Semi-non-parametric Nuisance Models

Molei Liu, Yi Zhang외 2명|arXiv (Cornell University)|2020. 10. 06.

Statistical Methods and Inference인용 수 8

한 줄 요약

이 논문은 중요도 가중치와 결과 변수 보간 모델을 조합하여 공변량 이동 보정을 향상시키는 반비모수적 방법인 보완된 전이 회귀 학습(ATReL)을 제안한다. 이 방법은 $n^{1/2}$-일致성과 비율 이중저항성(양측의 낭비 모델 중 하나만 정확히 특정되어도 유효함)을 달성하며, 차원의 극복과 모형 오_SPECIFICATION 문제를 완화한다.

ABSTRACT

In contemporary statistical learning, covariate shift correction plays an important role in transfer learning when distribution of the testing data is shifted from the training data. Importance weighting, as a natural and principle strategy to adjust for covariate shift, has been commonly used in the field of transfer learning. However, this strategy is not robust to model misspecification or excessive estimation error. In this paper, we propose an augmented transfer regression learning (ATReL) approach that introduces an imputation model for the targeted response, and uses it to augment the importance weighting equation. With novel semi-non-parametric constructions and calibrated moment estimating equations for the two nuisance models, our ATReL method is less prone to (i) the curse of dimensionality compared to nonparametric approaches, and (ii) model mis-specification than parametric approaches. We show that our ATReL estimator is root-n-consistent when at least one nuisance model is correctly specified, estimation for the parametric part of the nuisance models achieves parametric rate, and the nonparametric components are rate doubly robust. Simulation studies demonstrate that our method is more robust and efficient than existing parametric and fully nonparametric (machine learning) estimators under various configurations. We also examine the utility of our method through a real example about transfer learning of phenotyping algorithm for rheumatoid arthritis across different time windows. Finally, we propose ways to enhance the intrinsic efficiency of our estimator and to incorporate modern machine learning methods with our proposed framework.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터의 분포가 다를 때 발생하는 공변량 이동 문제를 해결함. 특히 전자적 건강 기록(EHR) 기반의 표현형 분류와 같은 생물의학적 적용 분야에서의 문제를 다룸.
• 모형 오 SPECIFICATION과 고차원 추정 오차에 민감한 표준 중요도 가중치 방법의 한계를 극복함.
• 낭비 모형 중 하나(중요도 가중치 또는 결과 모형)가 잘못 지정되어도 통계적 타당성과 효율성을 유지할 수 있는 방법을 개발함.
• 유연성과 해석 가능성의 균형을 이루는 반비모수적 프레임워크를 도입하여 완전 비모수적 방법에서 흔히 발생하는 차원의 극복 문제를 방지함.
• 실제 환경, 예를 들어 전자적 건강 기록에서 류마티스성 관절염의 병원 간 예측에 있어 전이 학습의 강건성과 효율성을 향상시킴.

제안 방법

• 응답 변수에 대한 보간 모델과 중요도 가중치를 조합한 보완된 추정 방정식을 제안하여 추정의 안정성을 향상시킴.
• 모든 낭비 모형에 반비모수적 구성 요소를 사용함: 설명력 향상을 위한 비모수적 구성 요소(예: 스퍼린 또는 커널 기반 기계)와 해석 가능성 향상을 위한 모형적 구성 요소를 조합함.
• 정규 조건 하에서 이중저항성과 비율 이중저항성을 보장하는 校정된 모멘트 추정 방정식을 설정함.
• 복잡한 데이터 구조에 적응할 수 있도록 현대적 머신러닝 기법(예: 정규화된 회귀, 커널 기반 기계)을 낭비 모형 추정에 적용함.
• 적어도 하나의 낭비 모형이 정확히 특정되어 있을 경우 ATReL 추정기의 $n^{1/2}$-일치성을 확보하고, 모형적 구성 요소가 모형적 수렴 속도를 달성함.
• 최종 추정기의 정밀도를 높이기 위해 효율성 보완 기법을 통합함으로써 강건성을 훼손하지 않으면서도 성능 향상을 도모함.

실험 결과

연구 질문

• RQ1 중요도 가중치 또는 결과 모형 중 하나가 잘못 지정되어도 공변량 이동 하에서 일관되고 효율적인 추론을 달성할 수 있는 전이 학습 방법이 존재하는가?
• RQ2 반비모수적 모형화는 고차원 환경에서 차원의 극복 문제를 줄이면서도 모형 오 SPECIFICATION에 대한 강건성을 유지할 수 있는가?
• RQ3 유한 표본에서 편향, 분산, 신뢰구간 커버리지 측면에서 제안된 ATReL 방법이 완전 모형적 및 완전 비모형적 추정기보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 낭비 모형 추정에 머신러닝 기법(예: 커널 기반 기계, 스퍼린)을 통합함으로써 실생활 생물의학 데이터에서 성능 향상이 어떻게 이루어지는가?
• RQ5 제안된 프레임워크는 내재적 효율성을 향상시키고 대규모 EHR 응용 분야에서의 유연성과 확장성을 지원할 수 있도록 확장될 수 있는가?

주요 결과

• ATReL는 $n^{1/2}$-일치성과 비율 이중저항성을 확보하여, 중요도 가중치 또는 결과 모형 중 적어도 하나가 정확히 특정되어 있으면 유효한 추론이 가능함을 보장함.
• 시뮬레이션 연구에서 ATReL는 파라미터적 및 완전 비모형적 방법보다 낮은 RMSE(예: $\beta_0$의 경우 0.113)와 높은 커버리지(CP = 0.95)를 보이며 뛰어난 성능을 보였음.
• 구성(III) 하에서 $\beta_1$ 추정에서 ATReL는 파라미터적 방법(bias = -0.052)과 DML BE(bias = -0.064)보다 훨씬 낮은 편향(bias = -0.014)을 기록함.
• 실제 류마티스성 관절염 표현형 분류 사례에서 ATReL는 경쟁 방법보다 더 안정적이고 해석 가능한 계수 추정치(예: $\beta_2 = 1.39$)를 제공함.
• 모형 오 SPECIFICATION 조건에서도 모든 파라미터에서 높은 커버리지(CP ≥ 0.91)를 유지하였고, 일부 구성에서는 DML BE(CP = 0.73)를 뛰어넘는 성능을 보였음.
• 특히 고차원 또는 복잡한 조건부 결과 구조에서 낭비 모형에 머신러닝 기법을 통합함으로써 효율성 향상이 관찰됨.