[논문 리뷰] Multiple Imputation of Missing Values in Household Data with Structural Zeros

Olanrewaju Akande, Jerome P. Reiter외 1명|arXiv (Cornell University)|2017. 07. 19.

Bayesian Methods and Mixture Models참고 문헌 15인용 수 4

한 줄 요약

이 논문은 구조적 영수를 가진 가구 조사 데이터에 대해 다중 임의화 방법을 제안하며, 이를 위해 삽입된 딜레트 프로세스 혼합 다항분포 모형(NDPMPM)을 사용한다. 이 방법은 결측치를 처리하면서 다변량 의존성을 유지하고, 불가능한 가구 구성(예: 부모보다 나이 많은 자녀)에 대해 확률을 0으로 할당함으로써 정확한 임의화와 적절한 불확실성 전파를 달성한다.

ABSTRACT

We present an approach for imputation of missing items in multivariate categorical data nested within households. The approach relies on a latent class model that (i) allows for household level and individual level variables, (ii) ensures that impossible household configurations have zero probability in the model, and (iii) can preserve multivariate distributions both within households and across households. We present a Gibbs sampler for estimating the model and generating imputations. We also describe strategies for improving the computational efficiency of the model estimation. We illustrate the performance of the approach with data that mimic the variables collected in typical population censuses.

연구 동기 및 목표

• 구조적 영수(예: 연령 제약)를 고려해야 하는 다변량 범주형 가구 데이터의 결측치를 보완하는 데 도전하는 것.
• 임의화 과정에서 가구 내외의 복잡한 다변량 연관성을 유지하는 것.
• 다중 임의화를 통해 적절한 불확실성 정량화를 보장하여 타당한 후행 추론을 가능하게 하는 것.
• 대규모 가구 데이터에서 결측치가 존재하는 경우 NDPMPM 모형의 계산 효율성을 향상시키는 것.
• 모델 유효성을 유지하면서 런타임을 줄이는 MCMC 추정을 위한 확장 가능한 전략을 개발하는 것.

제안 방법

• 가구 수준 및 개인 수준의 범주형 변수의 연합 분포를 모델링하기 위해 삽입된 딜레트 프로세스 혼합 다항분포 모형(NDPMPM)을 사용한다.
• 가정 내 연령 불일치와 같은 구조적 영수 제약 조건을 준수하는 임의화를 생성하기 위해 게이브스 샘플러에 거절 샘플링 단계를 추가한다.
• 정확도를 희생시키지 않고 계산 효율성을 향상시키기 위해 우도 함수에 캡-앤드-웨이트 근사를 적용한다.
• 가구 헤드 데이터를 가구 수준 변수로 변환하여 모형 복잡도를 감소시키고 MCMC 수렴 속도를 향상시킨다.
• 신뢰할 수 있는 사후 추론을 확보하기 위해 버너 이후 희소화 및 수렴 모니터링을 시행한다.
• 다중 임의화 추론을 위해 사후 예측 분포를 통해 50개의 완성된 데이터셋을 생성한다.

실험 결과

연구 질문

• RQ1 거절 샘플링을 통한 NDPMPM 모형이 구조적 영수 제약 조건을 준수하면서 가구 데이터의 결측치를 효과적으로 보완할 수 있는가?
• RQ2 제안된 방법이 기존의 표준 임의화 기법에 비해 가구 내외의 다변량 연관성을 얼마나 잘 유지하는가?
• RQ3 NDPMPM을 결측치가 있는 가구 데이터에 적용할 때 발생하는 계산적 병목 현상은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 특히 복잡한 가구 구성에 대해 임의화된 분포가 원래 데이터의 진짜 연합 분포와 얼마나 유사한가?
• RQ5 확장 가능한 근사 기법(캡-앤드-웨이트, 변수 재정의)을 사용할 경우 정확도는 유지되면서 계산 시간이 줄어드는가?

주요 결과

• 거절 샘플링을 통한 NDPMPM은 가구 데이터의 다변량 연관성을 효과적으로 유지하며, 임의화된 주변, 이변량, 삼변량 확률이 원래 완전 데이터의 결과와 매우 유사하게 나타났다.
• 이 방법은 구조적 영수 제약 조건을 효과적으로 준수하여, 자녀가 생물학적 부모보다 나이가 많을 수 없는 불가능한 구성요소에 대해 확률을 0으로 할당함으로써 안정성을 확보했다.
• 캡-앤드-웨이트 근사와 가구 수준 변수 변환은 MCMC 런타임을 크게 감소시켰으며, 동시에 임의화된 분포의 정확도를 유지했다.
• 낮은 결측률을 가진 MCAR 시나리오에서는 NDPMPM 임의화의 95% 신뢰구간이 진짜 모집단 값들을 잘 포함하고 있어, 신뢰할 수 있는 불확실성 정량화를 보여주었다.
• 강력한 성능에도 불구하고, 특히 더 큰 가구에서 동일 인종 가구 비율을 추정할 때 약간의 하향 편향이 관찰되어, 복잡한 인구통계적 구조를 임의화하는 데 있어 여전히 도전 과제가 존재함을 시사했다.
• 결과적으로, 거절 샘플링과 계산 최적화를 통한 NDPMPM은 구조적 제약 조건이 존재하는 인구조사 및 설문 데이터에서 다중 임의화를 위한 강력하고 확장 가능한 솔루션임을 입증했다.