[논문 리뷰] A principal components method to impute missing values for mixed data

Vincent Audigier, François Husson외 1명|arXiv (Cornell University)|2013. 01. 21.

Statistical Methods and Bayesian Inference참고 문헌 15인용 수 14

한 줄 요약

이 논문은 주로 연속형 및 범주형 변수를 포함하는 혼합형 데이터에 대한 새로운 열거 방법을 제안한다. 이 방법은 혼합형 데이터의 요인 분석(FAMD)을 활용하여 개인 간의 유사성과 변수 간의 관계를 주성분을 통해 모델링한다. 이 방법은 범주형 변수와 선형적으로 관련된 연속형 변수의 열거에서 랜덤 포레스트보다 우수한 성능을 보이며, 특히 희귀 범주와 고차원 데이터셋에서 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a new method to impute missing values in mixed datasets. It is based on a principal components method, the factorial analysis for mixed data, which balances the influence of all the variables that are continuous and categorical in the construction of the dimensions of variability. Because the imputation uses the principal axes and components, the prediction of the missing values are based on the similarity between individuals and on the relationships between variables. The quality of the imputation is assessed through a simulation study and real datasets. The method is compared to a recent method (Stekhoven and Bühlmann, 2011) based on random forests and shows better performances especially for the imputation of categorical variables and when there are highly linear relationships between continuous variables.

연구 동기 및 목표

• 연속형 및 범주형 변수가 동시에 존재하는 혼합형 데이터셋에서의 결측치를 보완하는 데 도전하는 것.
• 개인 간의 유사성과 변수 유형 간의 관계를 동시에 모델링하는 방법을 개발하는 것.
• 기존 방법과 비교해 특히 범주형 변수와 희귀 범주에 대해 열거 정확도를 향상시키는 것.
• 연쇄 방정식이나 랜덤 포레스트와 같은 다중 모델 접근 방식에 비해 계산적으로 효율적인 대안을 제공하는 것.
• 불확실성 정량화를 위한 잠재적 다중 열거로의 확장이 가능한 단일 열거를 제공하는 것.

제안 방법

• 이 방법은 혼합형 연속형 및 범주형 변수에 특화된 주성분 기반 기법인 혼합형 데이터의 요인 분석(FAMD)을 사용한다.
• 결측치가 포함된 데이터 행렬을 반복적으로 재구성하여 주성분을 활용하고, 현재의 저랭크 근사치를 기반으로 결측치를 업데이트한다.
• 각 반복 단계에서 알고리즘은 현재의 열거된 데이터 행렬에서 주성분을 계산한 후, 지정된 차원 수를 사용하여 데이터를 재구성한다.
• 차원 수는 조정 가능한 하이퍼파라미터이며, 교차 검증 또는 일반화된 교차 검증을 통해 선택할 수 있다.
• 이 방법은 최적 스케일링을 통해 범주형 변수를 연속형 변수와 동일한 저차원 공간에 통합한다.
• 재구성된 데이터 행렬에서 유도된 열거된 값은 개인 간 및 변수 간의 구조적 관계를 유지한다.

실험 결과

연구 질문

• RQ1 주성분 기반 방법이 비모수적 분포를 가정하지 않고 혼합형 데이터셋의 결측치를 효과적으로 보완할 수 있는가?
• RQ2 FAMD 기반 열거의 성능이 혼합형 데이터에서 최신 기술인 랜덤 포레스트와 비교해 어떻게 되는가?
• RQ3 이 방법은 특히 희귀 범주와 연속형 변수 간의 강한 선형 관계가 있는 데이터셋에서 범주형 변수의 정확도를 유지할 수 있는가?
• RQ4 반복적인 FAMD 알고리즘이 높은 열거 품질을 유지하면서도 계산적으로 효율적인가?
• RQ5 이 방법은 열거 과정에서 개인 간 유사성과 변수 간 상호의존성의 두 가지 측면을 얼마나 잘 고려하는가?

주요 결과

• 반복적 FAMD 방법은 시뮬레이션 및 실제 데이터셋에서 랜덤 포레스트보다 범주형 변수의 열거에서 뚜렷한 우월성을 보였다. 특히 희귀 범주에서 두드러진 성능 향상을 보였다.
• 강한 선형 관계를 가진 연속형 변수의 경우, FAMD 방법은 랜덤 포레스트보다 더 낮은 열거 오차를 기록했으며, 특히 결측률이 높을수록 성능이 뛰어났다.
• 파킨슨스 데이터셋(연속형 변수)에서 랜덤 포레스트의 오차율은 FAMD보다 10% 낮았으며, 이는 FAMD가 순수 연속형 설정에서는 제한이 있음을 확인한다.
• 신용 데이터셋(범주형 변수)에서는 모든 결측률 수준(10%, 20%, 30%)에서 FAMD가 랜덤 포레스트보다 낮은 열거 오차를 기록했다.
• 이 방법은 계산적으로 효율적이며 데이터셋 크기에 따라 잘 스케일링되며, 연쇄 방정식 및 K-최근접 이웃보다 정확도와 속도 면에서 뛰어난 성능을 보였다.
• FAMD 기반 열거 방법은 R 패키지 missMDA에 구현되어 있으며, imputeFAMD 함수를 통해 단일 열거 및 잠재적 다중 열거 워크플로우를 모두 지원한다.