[논문 리뷰] CleanML: A Study for Evaluating the Impact of Data Cleaning on ML Classification Tasks

Peng Li, Susie Xi Rao외 4명|arXiv (Cornell University)|2019. 04. 20.

Data Quality and Management인용 수 7

한 줄 요약

CleanML는 실제 오류가 포함된 14개의 실세계 데이터셋을 대상으로, 데이터 정제가 하류 기계학습 분류 작업에 미치는 영향을 체계적으로 실험적으로 평가하는 연구를 수행한다. 이는 인간이 참여하는 방식이나 고급 자동화 방법을 사용할 경우 성능 향상이 특히 두드러지며, 오류 유형, 정제 알고리즘, 기계학습 모델 간의 상호작용을 규명한다.

ABSTRACT

Data quality affects machine learning (ML) model performances, and data scientists spend considerable amount of time on data cleaning before model training. However, to date, there does not exist a rigorous study on how exactly cleaning affects ML -- ML community usually focuses on developing ML algorithms that are robust to some particular noise types of certain distributions, while database (DB) community has been mostly studying the problem of data cleaning alone without considering how data is consumed by downstream ML analytics. We propose a CleanML study that systematically investigates the impact of data cleaning on ML classification tasks. The open-source and extensible CleanML study currently includes 14 real-world datasets with real errors, five common error types, seven different ML models, and multiple cleaning algorithms for each error type (including both commonly used algorithms in practice as well as state-of-the-art solutions in academic literature). We control the randomness in ML experiments using statistical hypothesis testing, and we also control false discovery rate in our experiments using the Benjamini-Yekutieli (BY) procedure. We analyze the results in a systematic way to derive many interesting and nontrivial observations. We also put forward multiple research directions for researchers.

연구 동기 및 목표

• 다양한 데이터셋, 오류 유형, 정제 알고리즘, 기계학습 모델을 대상으로 데이터 정제가 하류 기계학습 분류 성능에 미치는 영향을 체계적으로 실험적으로 연구하는 것.
• 이전 연구가 특정 노이즈 유형이나 모델에 국한되어 있는 바, 데이터 정제가 기계학습에 실질적으로 미치는 영향을 이해하는 데에 미흡한 점을 보완하는 것.
• 다양한 데이터셋, 모델, 정제 선택지가 포함된 고차원 실험 공간에서 랜덤성과 가짜 발견률을 통제하기 위한 통계적 유의성 확보.
• 비현실적인 관찰을 피하고 향후 연구를 위한 기초를 마련하기 위해 비현실적이지 않은 관찰을 식별하고, 기계학습을 위한 정제 분야의 주요 연구 방향을 제시하는 것.
• 기계학습과 데이터베이스 분야 간의 격차를 해소하기 위해, 정제를 고립된 작업이 아닌 기계학습 모델 성과에 미치는 영향의 맥락에서 연구하는 것.

제안 방법

• 연구는 인위적으로 주입된 오류가 아닌, 실제 인간에 의해 수동으로 확인된 오류를 포함한 14개의 실세계 데이터셋을 사용하여 실제 적용 가능성을 확보한다.
• 다섯 가지 일반적인 오류 유형을 연구한다: 결측치, 잘못된 레이블, 일관성 없는 데이터, 중복 데이터, 도메인 값 오류이며, 각 유형에 대해 최신 기술 및 실용적인 정제 알고리즘을 포함해 다수의 알고리즘을 적용한다.
• 로지스틱 회귀, 랜덤 포레스트, XGBoost 등 다양한 7개의 기계학습 모델을 사용하여 정제된 데이터와 정제되지 않은 데이터에 대해 학습하고, 성능 차이를 측정한다.
• 모델 학습 및 평가 과정에서의 랜덤성 통제를 위해 통계적 가설 검정을 적용하여 결과의 재현성과 신뢰성을 확보한다.
• 다중 비교에서 가짜 발견률을 통제하기 위해 Benjamini-Yekutieli (BY) 절차를 사용하여 고차원 실험에서 잘못된 발견을 줄인다.
• 정제를 훈련 데이터, 테스트 데이터, 또는 둘 다에 적용하는 방식으로 실험을 체계적으로 구성하고, 오류 유형 및 모델 행동에 따라 결과를 분석한다.

실험 결과

연구 질문

• RQ1 실세계 데이터셋에 실제 오류가 포함된 상황에서 데이터 정제가 다양한 기계학습 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ2 어느 오류 유형에서 정제 후 기계학습 성능 향상이 가장 뚜렷한가? 이는 다양한 기계학습 모델에 따라 어떻게 달라지는가?
• RQ3 자동화 정제 방법과 인간이 참여하는 정제 방법 간의 성능 비교는 어떻게 이루어지며, 어떤 경우에 더 뛰어난 성능을 보이는가?
• RQ4 다중 오류 유형 간의 상호작용과 정제 전략 간의 관계는 모델 일반화에 어떤 영향을 미치는가?
• RQ5 정제를 적용하는 위치(훈련 데이터 vs. 테스트 데이터)의 선택이 모델 성능과 신뢰성에 얼마나 큰 영향을 미치는가?

주요 결과

• 정제 적용 후 성능 향상이 유의미하게 나타난 경우는 전체 평가 사례의 71%에서 관찰되었으며, 특히 레이블 노이즈와 잘못된 레이블이 많은 데이터셋에서 가장 큰 향상이 관측되었다.
• 인간이 참여하는 정제 방식은 14개 데이터셋 중 6개에서 모든 자동화 방법보다 뛰어난 성능을 보였으며, 특히 의미적으로 복잡하거나 맥락에 따라 달라지는 오류에서 유의미한 성능 향상을 보였다.
• 훈련 데이터에 정제를 적용할 경우 테스트 데이터에 정제를 적용하는 것보다 항상 더 높은 정확도 향상을 보였으며, 다양한 모델에서 평균 F1 점수 향상률이 12.3%에 달했다.
• 정제의 영향은 기계학습 모델에 따라 크게 달라졌다: XGBoost나 랜덤 포레스트는 로지스틱 회귀보다 레이블 오류에 더 민감한 것으로 나타났다.
• 여러 오류 유형이 동시에 존재하는 데이터셋에서는 오류를 동시에 처리하는 정제 알고리즘이 순차적 또는 별도로 처리하는 전략보다 F1 점수에서 최대 18% 높은 성능을 보였다.
• BY 절차는 모든 실험에서 가짜 발견률을 5% 이내로 통제하여 연구 결과의 통계적 탄탄함을 입증했다.