[논문 리뷰] Probabilistic Missing Value Imputation for Mixed Categorical and Ordered Data

Yuxuan Zhao, Alex Townsend외 1명|arXiv (Cornell University)|2022. 10. 13.

Data Management and Algorithms인용 수 4

한 줄 요약

이 논문은 임의의 순서가 없는 범주형 변수와 순서형 변수를 포함하는 혼합형 데이터에 대해 초과 가우시안 커플링(EGC)을 제안한다. 이는 임의의 초모수를 필요로 하지 않으며, 범주형 변수를 argmax 기반으로 모델링하는 잠재 가우시안 분포를 사용하는 확률적 모델이다. 이 모델은 범주형 및 순서형 변수에 대해 최신 기술 수준의 완성도를 달성하며, 단일 및 다중 imputation을 모두 지원하고, 시뮬레이션 및 실세계 데이터셋에서 기존 방법들보다 정확성과 효율성 면에서 뛰어나다.

ABSTRACT

Many real-world datasets contain missing entries and mixed data types including categorical and ordered (e.g. continuous and ordinal) variables. Imputing the missing entries is necessary, since many data analysis pipelines require complete data, but this is challenging especially for mixed data. This paper proposes a probabilistic imputation method using an extended Gaussian copula model that supports both single and multiple imputation. The method models mixed categorical and ordered data using a latent Gaussian distribution. The unordered characteristics of categorical variables is explicitly modeled using the argmax operator. The method makes no assumptions on the data marginals nor does it require tuning any hyperparameters. Experimental results on synthetic and real datasets show that imputation with the extended Gaussian copula outperforms the current state-of-the-art for both categorical and ordered variables in mixed data.

연구 동기 및 목표

• 범주형 및 순서형 변수를 포함하는 혼합형 데이터셋에서 결측치를 보완하는 데 도전하는 문제를 해결하기 위해.
• 임의의 인코딩이나 사전 처리 없이도 순서가 없는 범주형 변수를 명시적으로 모델링하는 확률적 보완 방법을 개발하기 위해.
• 후속 분석을 위한 불확실성 정량화를 제공하면서도 단일 및 다중 imputation을 가능하게 하기 위해.
• 모든 변량 분포에 대한 가정 없이도 초모수가 필요 없는 모델을 만들기 위해.
• 특히 고차원 또는 긴 스카이니 데이터 환경에서 MICE, missForest, LRMC와 같은 기존 방법들보다 더 뛰어난 내성과 효율성을 확보하기 위해.

제안 방법

• 초과 가우시안 커플링은 각 범주형 변수를 잠재 가우시안 벡터의 argmax로 모델링하여 범주 간 순서가 없는 성질을 유지한다.
• 순서형 변수(연속형 및 순서형)는 잠재 가우시안 스칼라로 모델링되며, 상관관계는 잠재 상관계수 행렬을 통해 캡처된다.
• 명시적인 변량 모델링을 통한 잠재 가우시안 커플링 프레임워크를 사용하여, 변량의 형태를 가정하지 않고도 공동 분포 추정이 가능하다.
• 강건하고 확장 가능한 매개변수 피팅 알고리즘을 제안하며, 미니배치 학습, 병렬 처리, 낮은 랭크 구조를 지원하여 효율성을 확보한다.
• 다중 imputation은 전체 조건부 분포에서 샘플링을 통해 가능해지며, 이로써 범주 확률과 신뢰구간을 제공한다.
• 모델은 식별 가능하며, 이전 방법들처럼 중복 매개변수를 가진 것과 달리 임의의 범주형 변량 분포를 정확히 재현할 수 있다.

실험 결과

연구 질문

• RQ1 초모수 조정이나 데이터 사전 처리 없이도 혼합형 범주형 및 순서형 데이터를 효과적으로 다룰 수 있는 확률적 보완 모델은 가능한가?
• RQ2 argmax 기반의 범주형 표현을 사용하는 잠재 가우시안 모델은 혼합형 데이터의 복잡한 의존성 구조를 얼마나 잘 포괄할 수 있는가?
• RQ3 초과 가우시안 커플링은 MICE, missForest, softImpute와 같은 최신 기술 수준의 방법들보다 보완 정확성과 계산 효율성 면에서 뛰어나게 성능을 발휘하는가?
• RQ4 모델은 범주형 변량 분포를 정확히 추정하고, 다중 imputation 과정에서 불확실성을 올바르게 전파할 수 있는가?
• RQ5 다양한 결측치 발생 메커니즘과 데이터 스케일 조건에서 이 방법의 성능은 어떠한가?

주요 결과

• 초과 가우시안 커플링(EGC)은 시뮬레이션 및 실세계 데이터셋에서 모두 범주형 및 순서형 변수에 대해 최신 기술 수준의 보완 정확도를 달성한다.
• n=1000인 시뮬레이션 데이터셋에서 EGC는 범주형 오차 0.64(0.01)과 연속형 오차 1.81(0.04)를 기록했으며, missForest 및 softImpute를 모두 능가했다.
• n=10000 및 n=20000일 경우 EGC는 각각 범주형 오차 0.64(0.01)를 유지하며 뛰어난 정확도를 확보했고, missForest보다도 훨씬 빠른 속도를 기록했다.
• 모델은 강건한 범주형 변량 분포 피팅 성능을 보였으며, 70개의 데이터셋과 다양한 범주 수에서 추정된 확률이 경험 분포와 매우 유사하게 일치했다.
• n=10000일 때 EGC의 실행 시간은 107(4)초였고, missForest의 1006(70)초보다 약 4배 빠르며, 더 높은 정확도를 기록했다.
• 모델은 범주형 데이터에 대해 softImpute를 항상 능가했지만, 순서형 변수에 대해서는 성능이 열악한 것으로 나타나, 두 유형의 데이터를 함께 모델링할 필요성이 강조되었다.