[논문 리뷰] Doubly Robust Covariate Shift Regression with Semi-nonparametric Nuisance Models

Molei Liu, Yi Zhang외 1명|arXiv (Cornell University)|2020. 10. 06.

Statistical Methods and Inference참고 문헌 58인용 수 4

한 줄 요약

이 논문은 중요도 가중치와 반응 변수에 대한 반비모수적 보간 모델을 조합하여 이중 강건한 공변량 이동 회귀 방법을 제안한다. 이는 모형 오-specification에 대한 민감도와 차원의 극복 문제를 줄이며, 적어도 하나의 부수적 모형이 올바를 경우 근-n 일致성을 보장하고, 비모수적 추정에서 이중 강건성 수렴 속도를 달성한다. 시뮬레이션과 양극성 장애 표현형 분석을 위한 실세계 전이 학습에서 기존의 파rametric 및 완전 비모수적 방법보다 우수한 성능을 보였다.

ABSTRACT

In contemporary statistical learning, covariate shift correction plays an important role when distribution of the testing data is shifted from the training data. Importance weighting is used to adjust for this but is not robust to model misspecifcation or excessive estimation error. In this paper, we propose a doubly robust covariate shift regression approach that introduces an imputation model for the targeted response, and uses it to augment the importance weighting equation. With a novel semi-nonparametric construction for the two nuisance models, our method is less prone to the curse of dimensionality compared to the nonparametric approaches, and is less prone to model mis-specification than the parametric approach. To remove the overfitting bias of the nonparametric components under potential model mis-specification, we construct calibrated moment estimating equations for the semi-nonparametric models. We show that our estimator is root-n consistent when at least one nuisance model is correctly specified, estimation for the parametric part of the nuisance models achieves parametric rate, and the nonparametric components are rate doubly robust. Simulation studies demonstrate that our method is more robust and efficient than existing parametric and fully nonparametric (machine learning) estimators under various configurations. We also examine the utility of our method through a real example about transfer learning of phenotyping algorithm for bipolar disorder. Finally, we propose ways to improve the (intrinsic) efficiency of our estimator and to incorporate high dimensional or machine learning models with our proposed framework.

연구 동기 및 목표

• 학습 데이터 분포와 다를 수 있는 테스트 데이터 분포에서 발생하는 공변량 이동 문제를 다루기 위해.
• 중요도 가중치의 모형 오-specification 및 추정 오차에 민감한 점을 해결하기 위해.
• 완전 비모수적 접근 방식에서 흔히 발생하는 차원의 극복 문제를 줄이면서도 모형 오-specification에 강건성을 유지하기 위해.
• 두 부수적 모형(중요도 또는 보간) 중 하나가 잘못 지정되어도 여전히 일치성을 유지하는 방법을 개발하기 위해.
• 추정 효율성을 향상시키고 고차원 또는 머신러닝 모형과의 통합을 가능하게 하기 위해.

제안 방법

• 반응 변수에 대한 반비모수적 보간 모형을 중요도 가중치 방정식에 보완하여 이중 강건 추정기의 구조를 제안한다.
• 중요도 모형과 보간 모형 양쪽에 새로운 반비모수적 구성 방식을 사용하여, 파라미터적 및 비모수적 구성 요소를 통합한다.
• 모형 오-specification 가능성이 있는 상황에서 비모수적 구성 요소의 과적합 편향을 보정하기 위해 校정된 모멘트 추정 방정식을 구성한다.
• 적어도 하나의 부수적 모형이 정확히 지정된 경우에 근-n 일치성을 확보한다.
• 파라미터적 구성 요소는 파라미터적 수렴 속도를 달성하고, 비모수적 구성 요소는 수렴 속도가 이중 강건한 방식으로 보장된다.
• 고차원 또는 머신러닝 모형을 부수적 모형 추정 과정에 통합할 수 있는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 반비모수적 접근 방식은 공변량 이동 보정에서 차원의 극복 문제를 줄이면서도 모형 오-specification에 강건성을 유지할 수 있는가?
• RQ2 두 부수적 모형 중 하나만 정확히 지정된 경우에도 제안된 방법이 근-n 일치성을 확보하는가?
• RQ3 교정된 모멘트 추정 방식은 모형 오-specification 하에서 비모수적 구성 요소의 편향 보정에 어떻게 기여하는가?
• RQ4 다양한 데이터 구성에서 기존의 파라미터적 및 완전 비모수적 추정기보다 강건성과 효율성 측면에서 우수한 성능을 보이는가?
• RQ5 고차원 또는 머신러닝 모형은 부수적 모형 추정 프레임워크에 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 추정기는 적어도 두 부수적 모형 중 하나(중요도 또는 보간)가 정확히 지정된 경우 근-n 일치성을 확보한다.
• 부수적 모형의 파라미터적 구성 요소 추정은 파라미터적 수렴 속도를 달성한다.
• 부수적 모형의 비모수적 구성 요소는 수렴 속도가 이중 강건하므로, 한 모형이 잘못 지정되어도 손상되지 않는다.
• 시뮬레이션 연구 결과, 다양한 분포 이동 및 모형 오-specification 상황에서 기존의 파라미터적 및 완전 비모수적 추정기보다 더 강건하고 효율적인 성능을 보였다.
• 실세계 전이 학습 응용 사례인 양극성 장애 표현형 분석에서 기존 기준 방법보다 향상된 성능을 보였다.
• 논문은 추정기의 내재적 효율성 향상을 위한 효율적인 개선 방법을 제안하고, 머신러닝 모형을 프레임워크에 통합할 수 있는 길을 제시한다.