[논문 리뷰] High-dimensional Imputation for the Social Sciences: a Comparison of State-of-the-art Methods

Edoardo Costantini, Kyle M. Lang외 2명|arXiv (Cornell University)|2022. 08. 29.

Statistical Methods and Bayesian Inference인용 수 5

한 줄 요약

이 연구는 사회과학 데이터에서 결측치가 있는 경우 최적의 예측변수 선택 및 차원 감소 전략을 규명하기 위해 일곱 가지 고차원 다중보정(MI) 방법을 평가한다. 시뮬레이션과 실제 설문조사 데이터를 사용하여, 라소 기반 선택, 전진 선택, 주성분 분석(PCA) 기반 차원 감소가 가장 정확하고 효율적인 모수 추정치를 제공하는 것으로 밝혀졌으며, MI-PCA는 성능과 계산 속도 사이의 최적의 균형을 이룬다.

ABSTRACT

Including a large number of predictors in the imputation model underlying a multiple imputation (MI) procedure is one of the most challenging tasks imputers face. A variety of high-dimensional MI techniques can help, but there has been limited research on their relative performance. In this study, we investigated a wide range of extant high-dimensional MI techniques that can handle a large number of predictors in the imputation models and general missing data patterns. We assessed the relative performance of seven high-dimensional MI methods with a Monte Carlo simulation study and a resampling study based on real survey data. The performance of the methods was defined by the degree to which they facilitate unbiased and confidencevalid estimates of the parameters of complete data analysis models. We found that using lasso penalty or forward selection to select the predictors used in the MI model and using principal component analysis to reduce the dimensionality of auxiliary data produce the best results.

연구 동기 및 목표

• 사회과학 연구에서 고차원 다중보정(MI) 방법의 상대적 성능을 평가하기 위해.
• 다양한 결측치 패턴 하에서 가장 정확하고 효율적인 모수 추정치를 제공하는 예측변수 선택 및 차원 감소 기법을 규명하기 위해.
• 사회과학적 맥락에서 현대적 고차원 MI 기법 간의 실증적 비교가 부족한 문제를 해결하기 위해.
• 많은 수의 예측변수를 다룰 때 효과적인 보정 모델을 선택하는 데 연구자들에게 실용적 지침을 제공하기 위해.
• 정규화 및 PCA와 같은 방법적 선택이 MI 추정치의 타당성과 정밀도에 미치는 영향을 평가하기 위해.

제안 방법

• 통제된 결측 데이터 메커니즘과 다양한 예측변수 차원을 가진 몬테카를로 시뮬레이션 연구를 수행하였다.
• 실제 유럽가치조사(EVS) 데이터를 활용한 재표본 추출 연구를 수행하여, 현실적인 사회과학 맥락에서의 결과를 검증하였다.
• 일곱 가지 고차원 MI 방법을 평가: 라소 기반 MI, 전진 선택 기반 MI, 리지 회귀 기반 MI, CART, 랜덤 포레스트, 주성분 회귀 기반 MI, MI-PCA.
• 다중 보정 데이터셋 간 추정치를 융합하기 위해 루빈의 규칙을 적용하고, 모수 추정치의 편향과 신뢰구간 커버리지(coverage)를 평가하였다.
• MI-PCA에서 보조 변수에 대해 주성분 분석을 통해 차원 감소를 적용하였으며, 총 분산의 50%를 설명하는 주성분을 유지하였다.
• 상대적 편향, 커버리지, 모수 추정치의 평균제곱근오차 등 지표를 사용하여 방법 간 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 사회과학 데이터에서 결측치가 있는 경우 어떤 고차원 보정 방법이 회귀 모수 추정치에서 가장 편향이 적은 결과를 제공하는가?
• RQ2 라소 및 전진 선택과 같은 정규화 기법은 트리 기반 방법(CART, 랜덤 포레스트 등)과 비교해 볼 때 추정 정확도와 효율성 측면에서 어떻게 다른가?
• RQ3 주성분 분석(PCA)을 통한 차원 감소가 고차원 환경에서 보정 성능을 얼마나 향상시키는가?
• RQ4 정확도와 계산 속도 측면에서 MI-PCA는 다른 방법들과 비교해 어떻게 성능을 발휘하는가?
• RQ5 보정 모델에 보조 변수를 포함하거나 제외할 경우 모수 추정치의 편향과 커버리지에 어떤 영향을 미치는가?

주요 결과

• 보정 모델에서 라소 기반 예측변수 선택과 전진 선택이 다양한 시뮬레이션 조건에서 가장 정확하고 편향이 적은 모수 추정치를 제공하였다.
• MI-PCA에서 주성분 분석(PCA) 기반 차원 감소가 고차원 설정에서 특히 많은 보조 변수가 존재할 경우 가장 효율적이고 정밀한 추정치를 제공하였다.
• MI-PCA는 다른 방법들보다 뛰어난 계산 속도를 보이며, 대규모 사회과학 데이터셋에 있어 가장 실용적인 선택으로 나타났다.
• 비모수적 차원 감소 기법(예: 기존의 PCA)은 보조 변수가 결측의 원인이 되는 강력한 예측변수일 경우에만 잘 작동했으며, 예측변수가 약할 경우 성능이 떨어졌다.
• 베이지안 리지 회귀는 저차원 설정(n ≫ p)에서는 강력한 대안이었지만, 차원이 증가함에 따라 성능이 떨어졌다.
• 분석 모델의 변수와 그 변환형을 보정 모델에 포함시키는 것은 편향을 크게 감소시키고 커버리지를 향상시켜, 모델 친화성 원칙을 뒷받침하였다.