[논문 리뷰] Does imputation matter? Benchmark for predictive models

Katarzyna Woźnica, Przemysław Biecek|arXiv (Cornell University)|2020. 07. 06.

Statistical Methods and Bayesian Inference참고 문헌 10인용 수 13

한 줄 요약

이 논문은 13개의 실제 분류 데이터셋을 대상으로 다양한 보정 방법이 기계학습 모델의 예측 성능에 미치는 영향을 평가하는 최초의 실증 기준을 제시한다. 연구 결과, 무작위 및 평균 보정과 같은 단순한 방법이 종종 더 복잡한 기법보다 뛰어난 성능을 보였지만, 어떤 한 방법이 모든 모델과 평가 지표에서 항상 우월하지는 않았으며, 보정 전략, 모델 유형, 성능 측정 방식 간의 강한 상호작용이 존재함을 시사한다.

ABSTRACT

Incomplete data are common in practical applications. Most predictive machine learning models do not handle missing values so they require some preprocessing. Although many algorithms are used for data imputation, we do not understand the impact of the different methods on the predictive models' performance. This paper is first that systematically evaluates the empirical effectiveness of data imputation algorithms for predictive models. The main contributions are (1) the recommendation of a general method for empirical benchmarking based on real-life classification tasks and the (2) comparative analysis of different imputation methods for a collection of data sets and a collection of ML algorithms.

연구 동기 및 목표

• 실제 환경에서 보정 방법이 예측 모델 성능에 미치는 영향을 체계적이고 재현 가능한 기준으로 설정하기 위해.
• 기존 연구가 보정 정확도에만 집중하는 데 반해, 보정 기법과 후속 모델 성능 간의 실증적 평가가 부족한 점을 보완하기 위해.
• 고도화된 보정 기법이 다양한 기계학습 알고리즘과 데이터셋에서 일관되게 예측 성능을 향상시키는지 조사하기 위해.
• 보정 전략, 모델 유형, 성능 지표 간의 상호작용을 탐색하여, 보편적인 권고를 어렵게 만드는 복잡한 종속성 관계를 밝혀내기 위해.

제안 방법

• OpenML100의 13개의 실제 이진 분류 데이터셋을 사용하며, 최소한 하나의 특성에 결측값이 포함되어 있음.
• 각 데이터셋은 학습용 80%와 테스트용 20%로 분할되어, 미리 보지 않은 데이터에 대한 모델 성능을 평가함.
• 7가지 보정 방법을 평가: 평균, 무작위, softImpute, missForest, VIM_hotdeck, VIM_kknn, mice_default; 각 데이터셋 별 성공률 기록.
• 5개의 기계학습 모델(glmnet, kknn, ranger, rpart, xgboost)을 각 보정된 학습 세트에 훈련하고, F1 및 AUC 지표를 사용해 테스트 세트에서 평가함.
• 성능는 데이터셋 간 평균 순위를 통해 집계되며, 보정 방법과 모델 간의 상호작용을 시각화하기 위해 주성분 분석(PCA)을 사용함.
• 탐욕적 탐색을 통해 다양한 데이터셋과 모델에서 최고 성능을 내는 구성의 커버리지가 최대가 되는 보정 방법의 순서를 식별함.

실험 결과

연구 질문

• RQ1 다양한 보정 방법은 실제 데이터에서 기계학습 모델의 예측 성능에 어떻게 영향을 미치는가?
• RQ2 다양한 데이터셋과 기계학습 알고리즘에서 보편적으로 최고의 보정 방법이 존재하는가?
• RQ3 성능 지표(F1 대비 AUC)는 보정 기법의 순위에 어떻게 영향을 미치는가?
• RQ4 특정 보정 방법과 특정 기계학습 모델 간의 상호작용은 어떠한가?
• RQ5 메타학습 접근법을 통해 보정 전략, 데이터 구조, 모델 성능 간의 복잡하고 비균일한 관계를 포괄할 수 있는가?

주요 결과

• F1 지표에서 데이터셋과 모델을 모두 고려할 때, 무작위 및 평균 보정과 같은 단순한 보정 방법이 75% 이상의 최적 구성에서 상위 성능를 기록함.
• AUC 기준으로는 평균 보정과 VIM_kknn 또는 mice_default 조합이 가장 뛰어난 성능를 보였지만, missForest와 무작위 보정도 매우 경쟁력 있음.
• 어느 한 보정 방법도 모든 모델과 지표에서 항상 최상위 순위를 차지하지는 않으며, 성능는 평가 측정 방식의 선택에 매우 의존함.
• missForest는 다양한 모델과 지표에서 상위 또는 근접한 순위를 기록하며, 특히 F1 성능에서 뛰어난 성능를 보임.
• PCA 분석 결과, 보정 방법은 모델 호환성에 따라 명확한 군집을 이룸: 평균, missForest, VIM_kknn는 rpart와 kknn와 잘 맞으며, mice는 ranger와 xgboost와 가장 잘 어울림.
• 탐욕적 탐색 결과, 무작위, missForest, 핫덱 보정을 조합하면 F1 기준으로 75% 이상의 최고 성능 구성 커버리지가 가능함을 확인하여, 이들의 강력한 상호보완적 성능를 입증함.