[논문 리뷰] Missing Value Imputation for Mixed Data via Gaussian Copula

Yuxuan Zhao, Madeleine Udell|arXiv (Cornell University)|2019. 10. 28.

Statistical Methods and Inference참고 문헌 29인용 수 6

한 줄 요약

이 논문은 연속형, 순서형, 이진 변수를 포함한 혼합 데이터에 대해 노튜닝(semiparametric) 임퓨티션 알고리즘을 제안한다. 이는 누락된 데이터에서 공분산 매개수를 추정하기 위해 효율적인 근사 EM 알고리즘을 사용하는 가우시안 커플라 모델을 기반으로 하며, 근사 분포와 순서 구조를 유지한다. 이 방법은 다양한 실재 및 시뮬레이션 데이터셋에서 최신 기술 대비 뛰어난 임퓨티션 정확도를 보이며 성능을 뛰어나게 한다.

ABSTRACT

Missing data imputation forms the first critical step of many data analysis pipelines. The challenge is greatest for mixed data sets, including real, Boolean, and ordinal data, where standard techniques for imputation fail basic sanity checks: for example, the imputed values may not follow the same distributions as the data. This paper proposes a new semiparametric algorithm to impute missing values, with no tuning parameters. The algorithm models mixed data as a Gaussian copula. This model can fit arbitrary marginals for continuous variables and can handle ordinal variables with many levels, including Boolean variables as a special case. We develop an efficient approximate EM algorithm to estimate copula parameters from incomplete mixed data. The resulting model reveals the statistical associations among variables. Experimental results on several synthetic and real datasets show superiority of our proposed algorithm to state-of-the-art imputation algorithms for mixed data.

연구 동기 및 목표

• 연속형, 순서형, 이진 변수를 포함한 혼합 데이터 세트에서 누락된 데이터를 보완하는 문제를 다루며, 표준 방법이 분포 불일치로 인해 실패하는 상황을 해결한다.
• 데이터의 순서적 성격을 존중하는 방법을 개발하여, 순서형 변수를 범주형 또는 연속형으로 처리할 때 흔히 발생하는 순서 정보 손실을 방지한다.
• 초기 설정 없이 하이퍼파rameter 튜닝이 필요 없고, 데이터 분포에 대한 사전 지식이 필요 없는 완전 자동화된, 매개수 없는 임퓨티션 알고리즘을 만든다.
• 적합된 커플라 모델을 통해 변수 간의 통계적 연관성을 해석 가능한 방식으로 모델링할 수 있도록 한다.
• 기존 베이지안 MCMC 방법에 대한 빠른 빈도주의 대안을 제공하여, 누락된 데이터가 있는 가우시안 커플라 추정에 활용한다.

제안 방법

• 혼합 데이터를 가우시안 커플라 모델로 모델링하며, 각 관측 변수가 잠재 다변량 정규 변수의 단조 증가 변환임을 가정한다.
• 순서형 변수를 잠재 연속 변수 위의 임계값으로 표현하여 순서를 유지하면서도 탄력적인 근사 분포를 允허한다.
• 완전한 MCMC 샘플링을 피하기 위해 누락된 데이터에서 커플라 공분산 및 임계값 매개수를 추정하기 위한 근사 EM 알고리즘을 개발한다.
• 좌표별 단조 증가 변환을 사용하여 데이터 스케일링 및 변환에 대해 불변성을 확보함으로써 강인성을 향상시킨다.
• 적합된 커플라 모델 하에서 조건부 분포로부터 샘플링하여 누락된 값을 임퓨티션하며, 전체 종속성 구조를 활용한다.
• 정확도를 훼손하지 않으면서도 계산 효율성을 향상시키기 위해 EM 알고리즘에 저랭크 근사법을 적용한다.

실험 결과

연구 질문

• RQ1 커플라 기반 모델은 연속형, 순서형, 이진 변수를 포함한 혼합 데이터 유형을 누락된 값이 있는 상태에서 근사 분포를 유지하면서 효과적으로 처리할 수 있는가?
• RQ2 제안된 누락된 혼합 데이터에 대한 근사 EM 알고리즘이 기존 최신 기술 대비 정확도와 속도에서 뛰어난가?
• RQ3 저랭크 행렬 완성 및 랜덤 포레스트 기반 임퓨티션과 비교해 볼 때, 이 방법은 순서 구조를 얼마나 잘 유지하고 고비율 누락 데이터를 다룰 수 있는가?
• RQ4 적합된 커플라 모델은 실제 세계 데이터셋에서 변수 간의 해석 가능한 통계적 연관성을 드러낼 수 있는가?
• RQ5 실제 응용에서 강인성을 확보하기 위해 요구되는 단조 증가 변환에 대해 이 방법이 불변성을 가지는가?

주요 결과

• 제안된 Copula-EM 방법은 영화 평점, 사회 조사, 건강 데이터를 포함한 모든 테스트 데이터셋에서 가장 낮은 SMAE(Symmetric Mean Absolute Error)를 기록했으며, 종종 상당한 격차로 앞서 있었다.
• 30%의 누락 데이터를 가진 MovieLens 데이터셋에서 Copula-EM은 SMAE 0.799를 기록했으며, missForest(0.800), imputeFAMD(0.823), xPCA(0.911)를 모두 앞섰다.
• 독일 유방암 연구 그룹(German Breast Cancer Study Group, GBSG) 데이터셋에서 Copula-EM은 순서형 변수에 대해 SMAE 0.793, 연속형 변수에 대해 0.876을 기록했으며, 모든 베이스라인을 압도했다.
• 강사 평가(LECTURERS EVALUATION, LEV) 데이터셋에서 Copula-EM은 레이블에 대해 SMAE 0.750, 특징에 대해 0.907을 기록했으며, missForest(각각 0.970 및 0.799)보다 뚜렷이 뛰어났다.
• 100번의 랜덤 테스트 런에 걸쳐 낮은 표준편차를 보이며 강인성과 안정성을 입증했으며, 일관된 성능을 보였다.
• 베이지안 MCMC 방법보다 유의미하게 빠르며, 동일한 시간 예산 내에서 더 정확한 추정치를 생성했으며, 이는 효율성 우월성을 입증했다.