[논문 리뷰] The correlation-assisted missing data estimator

Timothy I. Cannings, Yingying Fan|arXiv (Cornell University)|2019. 11. 05.

Statistical Methods and Bayesian Inference참고 문헌 22인용 수 4

한 줄 요약

이 논문은 상관관계를 활용하여 완전 케이스와 부족 데이터가 있는 관측치 간의 상관관계를 이용함으로써 추정 정확도를 향상시키는 새로운 방법인 상관관계 보조 부족 데이터(CAM) 추정기 방법을 제안한다. 완전 케이스 분석에 비해 U-통계량, 커널 밀도 추정, 비모수 회귀에서 평균 제곱 오차를 감소시키며, 부족 데이터가 완전히 무작위로 발생할 조건 하에 더 낮은 분산과 점근 정규성을 보장하는 이론적 근거를 제공한다.

ABSTRACT

We introduce a novel approach to estimation problems in settings with missing data. Our proposal -- the Correlation-Assisted Missing data (CAM) estimator -- works by exploiting the relationship between the observations with missing features and those without missing features in order to obtain improved prediction accuracy. In particular, our theoretical results elucidate general conditions under which the proposed CAM estimator has lower mean squared error than the widely used complete-case approach in a range of estimation problems. We showcase in detail how the CAM estimator can be applied to $U$-Statistics to obtain an unbiased, asymptotically Gaussian estimator that has lower variance than the complete-case $U$-Statistic. Further, in nonparametric density estimation and regression problems, we construct our CAM estimator using kernel functions, and show it has lower asymptotic mean squared error than the corresponding complete-case kernel estimator. We also include practical demonstrations throughout the paper using simulated data and the Terneuzen birth cohort and Brandsma datasets available from CRAN.

연구 동기 및 목표

• 부족 데이터 설정에서 완전 케이스 분석의 비효율성 문제를 해결하기 위해, 완전하지 않은 관측치에서 유용한 정보가 버려지는 문제를 해결하기 위해.
• 완전 케이스와 특징이 누락된 관측치 간의 상관관계를 활용하여 추정 정확도를 향상시키는 일반적인 프레임워크를 개발하기 위해.
• 여러 통계 모델에서 완전 케이스 추정기와 비교해 CAM 추정기의 더 낮은 평균 제곱 오차를 보장하는 이론적 근거를 제공하기 위해.
• 비모수 및 U-통계량 설정에서 추정기의 데이터 기반, 빠르고 완전 자동화된 구축을 통해 실용적 구현을 가능하게 하기 위해.

제안 방법

• CAM 추정기는 완전 케이스 추정기와 상관관계가 있는 통계량을 이용해 선형 조정을 수행하며, 이 통계량은 완전한 관측치와 완전하지 않은 관측치에서 유도된다.
• 완전 케이스 추정기와 완전하지 않은 데이터 기반의 보조 추정기 간의 상관관계를 이용하여 평균 제곱 오차를 감소시킨다.
• U-통계량의 경우 최적의 조정 항은 다시 U-통계량이 되며, 이는 이론적 분석과 편향이 없고 점근적으로 정규분포를 따르는 CAM 추정기의 구축을 가능하게 한다.
• 비모수 설정에서는 커널 함수를 적용하여 CAM 추정기를 구성하며, 점근적 분산 감소에 대한 이론적 근거를 제공한다.
• 최적의 조정을 알지 못하더라도 지식이 필요로 하지 않는 실용적 사용성을 확보하기 위해, 경험적 상관계수 추정치를 활용한 데이터 기반 CAM 추정기 버전을 제안한다.
• 이론적 분석에는 표준 비모수 정규 조건 하에 농도 부등식과 점근 전개를 이용한 편향과 분산의 경계가 포함된다.

실험 결과

연구 질문

• RQ1 CAM 추정기가 완전 케이스 추정기보다 더 낮은 평균 제곱 오차를 달성하는 조건은 무엇인가?
• RQ2 부족 데이터가 완전히 무작위로 발생할 조건 하에, U-통계량 설정에서 CAM 추정기가 편향이 없고 점근적으로 정규분포를 따를 수 있는가?
• RQ3 커널 기반 비모수 밀도 추정과 회귀에서 CAM 추정기는 점근적 평균 제곱 오차를 어떻게 향상시키는가?
• RQ4 CAM 추정기의 최적 조정 항은 무엇이며, 실무에서 데이터로부터 어떻게 추정할 수 있는가?
• RQ5 CAM 추정기는 테르누즈엔 출생 코hort 및 브란스마 데이터셋과 같은 실제 세계 데이터셋의 부족 데이터 문제에 효과적으로 적용될 수 있는가?

주요 결과

• CAM 추정기는 일반 조건 하에 완전 케이스 추정기보다 더 낮은 평균 제곱 오차를 달성하며, 데이터가 완전히 무작위로 부족한 경우가 아니더라도 성립한다.
• U-통계량 설정에서, 데이터가 완전히 무작위로 부족할 경우 CAM 추정기는 편향이 없고 점근적으로 정규분포를 따르며, 점근적 분산이 완전 케이스 U-통계량보다 엄격히 작다.
• 커널 밀도 추정과 국소 상수 회귀에서, CAM 추정기는 완전 케이스 커널 추정기보다 점근적 평균 제곱 오차가 낮으며, 이 개선 효과는 주요 항에서 정량화되어 있다.
• U-통계량 설정에서 최적의 조정 항은 U-통계량과 일치하며, 이는 이론적 분석과 일致한 추정기의 구축을 가능하게 한다.
• 데이터 기반 CAM 추정기는 시뮬레이션과 실제 데이터 응용에서 뚜렷한 분산 감소 효과를 보였으며, 테르누즈엔 출생 코hort 및 브란스마 데이터셋을 포함한다.
• 이론적 경계는 CAM 추정기의 편향과 분산 항이 적절히 수렴하며, 표준 비모수 정규 조건 하에 잔여 항이 확률적으로 사라짐을 확인한다.