[논문 리뷰] Imputation for prediction: beware of diminishing returns

Marine Le Morvan, Gaël Varoquaux|arXiv (Cornell University)|2024. 07. 29.

Forecasting Techniques and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 연구는 MCAR 조건 하에서 20개 데이터셋에 대해 향상된 보정 기법이 예측 성능을 크게 향상시키는지 조사한다. 연구 결과, 보정 정확도가 중요하지만, 특히 융통성 있는 모델이나 누락 정보 지표를 사용할 경우 예측 성능 향상은 미미한 편임을 확인하였으며, 일반적으로 더 나은 보정이 항상 예측 성능을 향상시킨다는 가정에 도전한다.

ABSTRACT

Missing values are prevalent across various fields, posing challenges for training and deploying predictive models. In this context, imputation is a common practice, driven by the hope that accurate imputations will enhance predictions. However, recent theoretical and empirical studies indicate that simple constant imputation can be consistent and competitive. This empirical study aims at clarifying if and when investing in advanced imputation methods yields significantly better predictions. Relating imputation and predictive accuracies across combinations of imputation and predictive models on 19 datasets, we show that imputation accuracy matters less i) when using expressive models, ii) when incorporating missingness indicators as complementary inputs, iii) matters much more for generated linear outcomes than for real-data outcomes. Interestingly, we also show that the use of the missingness indicator is beneficial to the prediction performance, even in MCAR scenarios. Overall, on real-data with powerful models, improving imputation only has a minor effect on prediction performance. Thus, investing in better imputations for improved predictions often offers limited benefits.

연구 동기 및 목표

• 향상된 보정 정확도가 후속 예측 성능에 측정 가능한 향상 효과를 가져오는지 실증적으로 평가하기 위해.
• 이론적으로 유효한 보정 방법이 적용 가능한 누락 완전 무작위(MCAR) 조건 하에서 보정 품질의 영향을 평가하기 위해.
• 모델의 융통성, 누락 정보 지표, 결과의 선형성 등이 보정 정확도와 예측 성능 간 관계에 미치는 영향을 조사하기 위해.
• 실제 예측 모델링 시나리오에서 고급 보정 방법이 의미 있는 이점을 제공하는지 명확히 하기 위해.
• 실무자들이 복잡한 보정에 투자할지 여부를 결정할 수 있도록 실질적인 통찰을 제공하기 위해.

제안 방법

• MCAR 누락 조건 하에서 다양한 누락 비율(20%, 50%)을 가진 20개의 실제 수치형 데이터셋을 대상으로 평가한다.
• 평균 보정, missforest, iterativeBR 및 VAE 및 GAN 기반 보정기와 같은 고급 기법을 포함한 여러 보정 기법의 정확도를 비교한다.
• 선형 모델, XGBoost, 신경망을 포함한 예측 모델을 사용하며, 누락 정보 지표(누락된 값을 표시하는 이진 특성)를 사용하거나 사용하지 않는다.
• 모든 모델 및 보정 기법 조합에 대해 보정 및 예측 파이프라인을 체계적으로 통합하고, 교차 검증을 통한 하이퍼파rameter 튜닝을 실시한다.
• 예측 성능은 회귀의 경우 RMSE, 분류의 경우 AUC로 측정하며, 보정 정확도는 RMSE 또는 MAE로 평가한다.
• 모델 선택 및 누락 정보 지표 유무를 통제하면서 보정 정확도 기여도를 분리하여 분석한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 모델에서 보정 정확도 향상이 예측 성능 향상에 뚜렷한 기여를 하는가?
• RQ2 누락 정보 지표 사용이 MCAR 환경에서 보다 나은 보정의 이점을 어떻게 영향을 미치는가?
• RQ3 선형 결과에 비해 실제 데이터에서의 관계는 보정 정확도와 예측 성능 간 관계를 더 강하게 만드는가?
• RQ4 모델의 표현력(예: XGBoost 대 선형 모델)이 보정 정확도가 예측 성능에 미치는 영향을 어떻게 조절하는가?
• RQ5 보정 정확도 향상이 일관되게 예측 성능 향상으로 이어지는가, 아니면 상관관계가 약한가?

주요 결과

• XGBoost나 신경망과 같은 강력하고 융통성 있는 모델을 사용할 경우, 보정 정확도 향상이 예측 성능 향상에 미미한 기여를 한다.
• 누락 정보 지표의 포함이 예측 성능 향상에 상당한 기여를 하며, 특히 누락 정보가 정보를 제공하지 않는 MCAR 환경에서도 고급 보정 기법의 잠재력을 극대화한다.
• 선형적으로 생성된 결과에서는 더 나은 보정이 더 나은 예측을 이끌지만, 비선형 관계를 가진 실제 데이터에서는 이러한 관계가 붕괴된다.
• 50%의 누락 비율 조건에서도 missforest 기반 예측기의 성능이 비교적 높은 보정 정확도를 가진 iterativeBR 기반 예측기보다 뛰어나며, 이는 보정 정확도 자체가 예측 성능 향상의 신뢰할 수 있는 지표가 아님을 시사한다.
• 모델가 누락 값을 내재적으로 처리하거나 누락 정보 지표를 사용할 경우 고급 보정의 이점은 감소하며, 이는 모델 선택이 보다 중요한 요소임을 시사한다.
• 이론적으로 유효한 MCAR 환경에서도 보다 나은 보정으로부터의 성능 향상은 여전히 미미하며, 이는 실질적인 MNAR 환경에서는 더 작은 향상이 예상됨을 시사한다.