[논문 리뷰] Are deep learning models superior for missing data imputation in large surveys? Evidence from an empirical comparison

Zhenhua Wang, Olanrewaju Akande외 2명|arXiv (Cornell University)|2021. 03. 14.

Statistical Methods and Bayesian Inference참고 문헌 42인용 수 11

한 줄 요약

이 연구는 미국 인구조사(American Community Survey)의 실질적 설문 조사 자료를 바탕으로, 분류 트리와 랜덤 포레스트를 사용한 MICE와 비교하여 딥러닝 임퓨테이션 방법(GAIN 및 MIDA)의 성능을 평가한다. 계산 효율성이 뛰어나지만, 다양한 부재 데이터 상황에서 특히 중간 크기의 표본과 단순한 데이터 구조에서, MICE와 CART를 사용한 경우에 비해 편향, 평균제곱오차 및 신뢰구간 커버리지 측면에서 딥러닝 모델이 열등하다.

ABSTRACT

Multiple imputation (MI) is a popular approach for dealing with missing data arising from non-response in sample surveys. Multiple imputation by chained equations (MICE) is one of the most widely used MI algorithms for multivariate data, but it lacks theoretical foundation and is computationally intensive. Recently, missing data imputation methods based on deep learning models have been developed with encouraging results in small studies. However, there has been limited research on evaluating their performance in realistic settings compared to MICE, particularly in big surveys. We conduct extensive simulation studies based on a subsample of the American Community Survey to compare the repeated sampling properties of four machine learning based MI methods: MICE with classification trees, MICE with random forests, generative adversarial imputation networks, and multiple imputation using denoising autoencoders. We find the deep learning imputation methods are superior to MICE in terms of computational time. However, with the default choice of hyperparameters in the common software packages, MICE with classification trees consistently outperforms, often by a large margin, the deep learning imputation methods in terms of bias, mean squared error, and coverage under a range of realistic settings.

연구 동기 및 목표

• 대규모 설문 조사 자료에서 딥러닝 임퓨테이션 방법(GAIN 및 MIDA)의 성능을 기존의 MICE 방법과 비교 평가하는 것.
• 딥러닝 모델이 분류 트리와 랜덤 포레스트를 사용한 MICE에 비해 편향, 평균제곱오차 및 커버리지 측면에서 의미 있는 향상을 이끌어내는지 평가하는 것.
• 실제 적용에서 흔히 사용되는 설정을 반영하는 기본 하이퍼파rameter 설정이 딥러닝 임퓨테이션 모델의 성능에 미치는 영향을 조사하는 것.
• 중간 차원성과 단순한 기초 구조를 가진 설문 조사 자료에 대해 딥 신경망이 적합한지 판단하는 것.
• 실제 부재 데이터 메커니즘 하에서 다중 임퓨테이션에 있어 딥러닝 방법의 신뢰성에 대한 실증적 증거를 제공하는 것.

제안 방법

• 미국 인구조사의 일부 샘플을 기반으로 한 광범위한 시뮬레이션 연구를 수행하여 현실적인 부재 데이터 패턴을 생성하였다.
• 네 가지 임퓨테이션 방법을 비교: 분류 트리 기반 MICE, 랜덤 포레스트 기반 MICE, GAIN(Generative Adversarial Imputation Networks), MIDA(Multiple Imputation using Denoising Autoencoders).
• 다양한 추정량과 부재 데이터 메커니즘에서 편향, 평균제곱오차(MSE), 커버리지의 평가를 위해 반복 샘플링을 실시하였다.
• 실제 설문 조사의 구조를 기반으로 한 합성 데이터와 이전 문헌에서의 벤치마크 데이터셋을 모두 활용하여 성능 평가를 수행하였다.
• 일반 소프트웨어 패키지에서 제공하는 기본 하이퍼파rameter 설정을 적용하여 일반적인 사용자 실천 방식을 반영하였으며, 철저한 튜닝은 피했다.
• 전체 MSE와 정확도 결과를 보고하였으며, 반복 샘플 간의 임퓨테이션 안정성도 평가하였다.

실험 결과

연구 질문

• RQ1 실제 설문 조사 자료 조건 하에서, 딥러닝 임퓨테이션 모델(GAIN 및 MIDA)이 분류 트리 기반 MICE보다 편향, MSE 및 커버리지 측면에서 우월한가?
• RQ2 대규모 설문 조사 데이터셋에 적용했을 때, 딥러닝 모델의 계산 효율성은 MICE 방법과 비교해 어떻게 되는가?
• RQ3 일반 소프트웨어 패키지에 내장된 기본 하이퍼파rameter 설정이 딥러닝 임퓨테이션 모델의 성능에 어느 정도의 영향을 미치는가?
• RQ4 GAIN 및 MIDA는 왜 MICE와 CART에 비해 반복 샘플 간에 매우 높은 변동성을 보이며 불안정한 임퓨테이션을 생성하는가?
• RQ5 딥러닝 모델과 MICE와 CART 간의 성능 격차는 데이터 구조의 단순성 때문이냐, 아니면 충분한 학습 표본 크기 부족 때문이냐?

주요 결과

• 딥러닝 임퓨테이션 모델(GAIN 및 MIDA)은 GPU 가속 덕분에 MICE 방법보다 훨씬 빠른 속도를 보이며 명백한 계산 효율성 우위를 확보하고 있다.
• 빠른 계산 속도에도 불구하고, GAIN 및 MIDA는 모든 시뮬레이션 시나리오에서 편향, 평균제곱오차 및 커버리지 측면에서 MICE와 분류 트리 기반 모델에 비해 일관되게 열등하다.
• MICE와 분류 트리 기반 모델은 연속형 변수가 존재하고 표본 크기가 중간 수준일 경우에 특히 뚜렷한 성능 우위를 보였다.
• GAIN 및 MIDA는 반복 샘플 간에 매우 불안정한 임퓨테이션을 생성하며, 반복 샘플링 성질에서의 신뢰성 부족을 시사한다.
• 기본 하이퍼파rameter 설정을 사용한 경우에도 성능 격차가 지속되므로, 문제의 근본 원인이 하이퍼파ram터 최적화 부족 때문이라고 볼 수 없다.
• 랜덤 포레스트와 같은 앙상블 방법은 MICE에서 단일 분류 트리보다 성능 향상을 이끌지 못했으며, 계산 비용 또한 더 높아, 실무에서는 MICE와 분류 트리 기반 모델이 더 바람직하다.