[논문 리뷰] Impact of Missing Values in Machine Learning: A Comprehensive Analysis

Abu Fuad Ahmad, Md Shohel Sayeed외 2명|arXiv (Cornell University)|2024. 10. 10.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 기계학습 워크플로우에서 결측치가 미치는 영향을 종합적으로 분석하며, 그 유형, 원인, 모델 성능, 편향, 계산 부담에 대한 영향을 다룹니다. 보정 및 제거 전략을 평가하고, 교차 검증 및 모델 평가에서 발생하는 과제를 언급하며, 실제 사례 연구를 통해 실용적인 통찰을 제공합니다. 이는 강력하고 신뢰할 수 있는 기계학습 결과를 확보하기 위해 결측 데이터를 윤리적이고 투명하게 다루도록 촉구합니다.

ABSTRACT

Machine learning (ML) has become a ubiquitous tool across various domains of data mining and big data analysis. The efficacy of ML models depends heavily on high-quality datasets, which are often complicated by the presence of missing values. Consequently, the performance and generalization of ML models are at risk in the face of such datasets. This paper aims to examine the nuanced impact of missing values on ML workflows, including their types, causes, and consequences. Our analysis focuses on the challenges posed by missing values, including biased inferences, reduced predictive power, and increased computational burdens. The paper further explores strategies for handling missing values, including imputation techniques and removal strategies, and investigates how missing values affect model evaluation metrics and introduces complexities in cross-validation and model selection. The study employs case studies and real-world examples to illustrate the practical implications of addressing missing values. Finally, the discussion extends to future research directions, emphasizing the need for handling missing values ethically and transparently. The primary goal of this paper is to provide insights into the pervasive impact of missing values on ML models and guide practitioners toward effective strategies for achieving robust and reliable model outcomes.

연구 동기 및 목표

• 결측치가 기계학습 모델 성능과 일반화에 미치는 미묘한 영향을 분석하기 위해.
• 기계학습 워크플로우에서 결측 데이터의 유형, 원인, 결과를 식별하기 위해.
• 결측치를 처리하기 위한 보정 및 제거 전략을 평가하기 위해.
• 결측치가 모델 평가 지표와 교차 검증 절차에 어떻게 영향을 미치는지 조사하기 위해.
• 기계학습 응용 분야에서 결측 데이터를 윤리적이고 투명하게 다루기 위한 원칙을 홍보하기 위해.

제안 방법

• 결측치 유형(MCAR, MAR, MNAR)과 기계학습 파ip라인에 미치는 영향에 대한 체계적 검토.
• 평균/모드 보정, KNN 보정, 모델 기반 보정과 같은 일반적인 보정 기법 평가.
• 데이터 손실과 모델 편향 측면에서 리스트와이즈 및 페어와이즈 삭제 전략 비교.
• 실제 세계 데이터셋을 활용한 사례 연구 통합을 통해 실용적 영향을 시연.
• 결측치가 교차 검증 및 모델 선택 과정에 어떻게 왜곡을 유도하는지 분석.
• 투명성과 재현 가능성에 중점을 두어 데이터 처리의 윤리적 고려사항 논의.

실험 결과

연구 질문

• RQ1 다양한 유형의 결측치(MCAR, MAR, MNAR)가 기계학습 모델의 예측 성능에 어떻게 영향을 미치는가?
• RQ2 편향, 분산, 계산 비용 측면에서 보정 전략과 삭제 전략 간의 상대적 트레이드오프는 무엇인가?
• RQ3 결측치가 정확도, AUC, F1-스코어와 같은 모델 평가 지표의 신뢰성에 얼마나 심각하게 영향을 미치는가?
• RQ4 결측치는 교차 검증 및 모델 선택에 어떤 복잡성을 유도하는가?
• RQ5 기계학습에서 결측 데이터를 다룰 때 채택해야 할 윤리적이고 투명한 관행은 무엇인가?

주요 결과

• 결측치는 모델의 예측 능력을 크게 떨어뜨리고, 특히 MAR 및 MNAR 메커니즘 하에서는 편향된 추론의 위험을 증가시킵니다.
• 특히 모델 기반 보정 및 KNN 보정 기법이 단순 평균/모드 보정보다 모델 성능을 더 잘 유지합니다.
• 제거 전략은 상당한 데이터 손실을 초래하고, 특히 결측치가 MCAR가 아닐 경우 모델 일반화에 왜곡을 유도할 수 있습니다.
• 결측치는 교차 검증에서 체계적인 편향을 유도하여 성능 추정치를 지나치게 낙관적 또는 비관적으로 만들 수 있습니다.
• 사례 연구를 통해 잘못된 결측 데이터 처리 방식이 모델의 해석 가능성과 공정성을 무너뜨릴 수 있음을 입증했습니다.
• 재현 가능하고 신뢰할 수 있는 기계학습 연구를 위해, 결측 패턴 기록 및 투명한 보고 방식을 포함한 윤리적 데이터 처리 관행이 필수적입니다.