[논문 리뷰] When to Impute? Imputation before and during cross-validation

Byron C. Jaeger, Nicholas Tierney외 1명|arXiv (Cornell University)|2020. 10. 01.

Statistical Methods and Bayesian Inference참고 문헌 13인용 수 8

한 줄 요약

이 논문은 교차검증 이전에 결측치를 보정하는 방식(I→CV)이 각 교차검증 폴드에서 보정하는 방식(CV∘→I)과 비교해 일반화 오차 추정에 편향을 유도하는지 조사한다. 비록 약간의 낙관적 편향이 존재하지만, I→CV는 분산을 줄이고 외부 R² 추정에 대해 전체적으로 낮은 근사제곱오차를 제공하며, 튜닝된 모델에서는 성능 차이가 미미하여 특정 설정에서는 계산 비용이 저렴하고 타당한 대안이 된다.

ABSTRACT

Cross-validation (CV) is a technique used to estimate generalization error for prediction models. For pipeline modeling algorithms (i.e. modeling procedures with multiple steps), it has been recommended the entire sequence of steps be carried out during each replicate of CV to mimic the application of the entire pipeline to an external testing set. While theoretically sound, following this recommendation can lead to high computational costs when a pipeline modeling algorithm includes computationally expensive operations, e.g. imputation of missing values. There is a general belief that unsupervised variable selection (i.e. ignoring the outcome) can be applied before conducting CV without incurring bias, but there is less consensus for unsupervised imputation of missing values. We empirically assessed whether conducting unsupervised imputation prior to CV would result in biased estimates of generalization error or result in poorly selected tuning parameters and thus degrade the external performance of downstream models. Results show that despite optimistic bias, the reduced variance of imputation before CV compared to imputation during each replicate of CV leads to a lower overall root mean squared error for estimation of the true external R-squared and the performance of models tuned using CV with imputation before versus during each replication is minimally different. In conclusion, unsupervised imputation before CV appears valid in certain settings and may be a helpful strategy that enables analysts to use more flexible imputation techniques without incurring high computational costs.

연구 동기 및 목표

• 비모수적 보정을 교차검증 이전에 수행하는 경우(I→CV)와 각 교차검증 폴드에서 반복적으로 보정하는 경우(CV∘→I)를 비교하여 일반화 오차 추정에 편향이 유도되는지 평가하기.
• I→CV가 모델 하이퍼파rameter(예: 보정을 위한 최근접이웃 수)를 비최적으로 선택하여 외부 모델 성능을 떨어뜨리는지 조사하기.
• 결측치가 있는 파ip라인 모델링에서 계산 비용과 추정 정확도 사이의 트레이드오프 평가하기.
• I→CV가 기계학습 파이프라인에서 보정을 위한 CV∘→I의 유효하고 실용적인 대안인지 결정하기.

제안 방법

• 연구는 두 가지 워크플로우를 비교한다: I→CV는 교차검증 이전에 한 번만 보정을 수행하고, CV∘→I는 각 교차검증 폴드 내에서 반복적으로 보정을 수행한다.
• 저자들은 다양한 결측치 메커니즘(MCAR, MAR)을 가진 시뮬레이션 데이터와 실제 데이터(Ames 주택 데이터셋)를 사용하여 성능을 평가한다.
• 일반화 오차는 외부 R²를 사용해 추정하고, 모델 튜닝은 보정을 위한 최적의 최근접이웃 수 선택 기반으로 이루어진다.
• 예측 분석에서 훈련 및 테스트 세트에 대한 단일 및 다중 보정을 용이하게 하기 위해 ipa R 패키지를 도입한다.
• I→CV와 CV∘→I 간의 일반화 오차 추정 정확도를 비교하기 위해 근사제곱오차(RMSE)를 사용한다.
• 표본 크기와 결측치 상황을 다양하게 설정하여 편향, 분산 및 전체 추정 품질을 평가하기 위해 통계적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 교차검증 이전에 결측치를 보정하는 방식(I→CV)이 각 교차검증 폴드에서 보정하는 방식(CV∘→I)과 비교해 일반화 오차 추정에 편향을 유도하는가?
• RQ2 I→CV가 보정을 위한 최근접이웃 수와 같은 모델 하이퍼파rameter를 비최적으로 튜닝하여 외부 모델 성능을 떨어뜨리는가?
• RQ3 다양한 데이터 상황과 표본 크기에서 I→CV와 CV∘→I 간의 일반화 오차 추정의 편향과 분산은 어떻게 비교되는가?
• RQ4 I→CV와 CV∘→I 간의 계산 비용 차이는 무엇이며, 이는 CV∘→I의 실용적 타당성에 영향을 미치는가?

주요 결과

• I→CV는 CV∘→I에 비해 약간이지만 일관된 낙관적 편향을 보이며 일반화 오차 추정에 영향을 준다.
• 비록 낙관적 편향이 존재하지만, I→CV는 분산이 크게 감소하여 진정한 외부 R² 추정에 대해 전체적으로 낮은 근사제곱오차(RMSE)를 제공한다.
• I→CV로 튜닝된 모델의 성능은 CV∘→I로 튜닝된 모델과 거의 동일하여 외부 모델 성능에 악영향을 주지 않는다.
• Ames 주택 데이터셋에서 CV∘→I를 사용한 보정 시간은 I→CV에 비해 약 10배 높으며, 이는 반복적인 보정으로 인한 계산 부담을 반영한다.
• 모든 상황에서 I→CV와 CV∘→I를 통해 선택된 최적의 최근접이웃 수는 일관되게 일치하여 동일한 튜닝 정확도를 보인다.
• 전반적으로 모든 상황에서 외부 R²의 평균은 I→CV 기준 40.5%이며, CV∘→I 기준 37.8%로 I→CV가 편향과 분산의 균형을 더 잘 유지한다.