[논문 리뷰] Integration of survey data and big observational data for finite population inference using mass imputation

Shu Yang, Jae Kwang Kim|arXiv (Cornell University)|2018. 07. 08.

Statistical Methods and Bayesian Inference참고 문헌 24인용 수 12

한 줄 요약

이 논문은 확률 표본 조사 자료와 대규모 관측 데이터(빅데이터)를 통합하여 유한모집단 추론을 향상시키는 비모수적 질량보정 프레임워크를 제안한다. 빅데이터를 학습 데이터로 사용하여 전체 조사 표본 내의 누락된 연구 변수를 보정함으로써, 강한 모형 가정 없이도 강건하고 효율적인 추정기를 확보하며, 모형 잘못 설정과 선택 편향 하에서의 시뮬레이션 연구에서 경쟁 방법들을 능가한다.

ABSTRACT

Multiple data sources are becoming increasingly available for statistical analyses in the era of big data. As an important example in finite-population inference, we consider an imputation approach to combining a probability sample with big observational data. Unlike the usual imputation for missing data analysis, we create imputed values for the whole elements in the probability sample. Such mass imputation is attractive in the context of survey data integration (Kim and Rao, 2012). We extend mass imputation as a tool for data integration of survey data and big non-survey data. The mass imputation methods and their statistical properties are presented. The matching estimator of Rivers (2007) is also covered as a special case. Variance estimation with mass-imputed data is discussed. The simulation results demonstrate the proposed estimators outperform existing competitors in terms of robustness and efficiency.

연구 동기 및 목표

• 유한모집단 추론을 위해 확률 표본 조사 자료와 잠재적으로 편향된 대규모 빅데이터 자료를 통합하는 과제를 해결한다.
• 기존 보정 방법의 한계를 극복하기 위해 전체 조사 표본을 보정해야 할 누락된 자료로 간주하고, 빅데이터를 학습 데이터로 사용하여 보정한다.
• 기존 방법에서 흔히 사용되는 강력한 모형 가정을 피하는 설계 기반의 비모수적 질량보정 프레임워크를 개발한다.
• 표본의 대표성과 빅데이터의 예측 능력을 활용하여 추정의 효율성과 강건성을 향상시킨다.
• 질량보정된 추정기의 엄밀한 점근적 이론과 분산 추정 전략을 제공하며, 캘리브레이션 가중치와 비모수적 보정 전략을 포함한다.

제안 방법

• 빅데이터를 학습 데이터로 사용하여 질량보정을 통해 확률 표본 내 모든 단위의 누락된 연구 변수를 예측한다.
• 비모수적 보정 기법을 구현: 최근접 이웃 보정(NNI), k-최근접 이웃 보정(kNNI), 일반화된 가산 모형(GAM).
• 모형 가정에 의존하지 않고 효율성을 향상시키는 새로운 캘리브레이션 가중치 추정기법을 제안하며, 설계 기반 추론을 사용한다.
• 질량보정된 데이터에 대해 Horvitz-Thompson 유형 추정을 적용하고, 보정 불확실성을 고려한 분산 추정을 수행한다.
• 빅데이터 샘플링 메커니즘이 누락이 랜덤(MAR)일 경우 이론적 타당성을 확보하며, Rubin의 프레임워크를 활용한다.
• 이질성과 모형 잘못 설정에 대한 강건성을 향상시키기 위해 통합된 프레임워크 내에서 다중 보정 전략을 통합한다.

실험 결과

연구 질문

• RQ1 빅데이터 관측 자료와 확률 표본 조사 자료를 통합하여 유한모집단 추론을 위한 질량보정을 어떻게 체계화할 수 있는가?
• RQ2 비모수적 보정 기법(예: kNNI, GAM)은 모형 잘못 설정 하에서 파라미터 모형 대비 더 강건하고 효율적인 추정기를 제공하는가?
• RQ3 캘리브레이션 가중치는 질량보정된 자료에 적응하여 모형 가정에 의존하지 않고도 효율성을 향상시킬 수 있는가?
• RQ4 선택 편향과 모형 잘못 설정 하에서 질량보정의 성능은 기존 방법(예: IPW, DR)과 비교해 어떻게 되는가?
• RQ5 설계 기반 프레임워크에서 질량보정된 추정기의 점근적 성질과 분산 추정 전략은 무엇인가?

주요 결과

• 제안된 질량보정 기법, 특히 kNNI와 GAM은 모형 잘못 설정 하에서 기존 경쟁 방법에 비해 강건성과 효율성 측면에서 뚜렷한 승리를 거두었다.
• 캘리브레이션 가중치 추정기법은 결과 모형이나 성향 모형이 잘못 설정된 경우에도 다른 방법보다 높은 효율성을 확보하며 강건성을 유지하였다.
• 최근접 이웃 보정(NNI)과 k-최근접 이웃 보정(kNNI)은 모든 시나리오에서 편향이 0.1×10² 이하로 안정된 성능을 보이며, 신뢰구간 커버리지 비율은 약 96%에 가까웠다.
• 빅데이터 소속 정보가 모든 조사 단위에 대해 알려져 있을 경우, 회귀 캘리브레이션 추정기법은 높은 효율성(S.E. ~3.7×10²)과 양호한 커버리지(95.8–96.6%)를 유지하였다.
• IPW 추정기법은 모형 잘못 설정에 매우 민감하여 비선형 성향 모형 하에서 커버리지가 1.8%로 급격히 떨어졌고, DR 추정기법은 더 나은 강건성을 보였다.
• 실제 미국 인구 조사 데이터 기반 시뮬레이션 결과, 비모수적 모형을 사용한 질량보정은 빅데이터 샘플링이 무시할 수 없는(비-MAR) 경우에도 낮은 편향과 높은 커버리지 유지가 가능했으며, 이는 MAR 가정이 유지될 경우에 한해 성립하였다.