[논문 리뷰] CleanML: A Benchmark for Joint Data Cleaning and Machine Learning [Experiments and Analysis].

Peng Li, Susie Xi Rao외 4명|arXiv (Cornell University)|2019. 04. 20.

Data Quality and Management참고 문헌 16인용 수 26

한 줄 요약

CleanML는 데이터 정제와 기계학습의 병합 영향을 연구하기 위해 13개의 실세계 데이터셋, 다섯 가지 오류 유형, 일곱 가지 기계학습 모델을 사용하여 종합적인 벤치마크를 도입한다. 엄격한 통계적 통제, 특히 Benjamini-Yekutieli 절차를 통해 정제 효과를 신뢰성 있게 탐지할 수 있도록 하여, 데이터 품질이 모델 성능에 미치는 영향에 대한 비직관적인 통찰을 드러낸다.

ABSTRACT

It is widely recognized that the data quality affects machine learning (ML) model performances, and data scientists spend considerable amount of time on data cleaning before model training. However, to date, there does not exist a rigorous study on how exactly does cleaning affect ML --- ML community usually focuses on the effects of specific types of noises of certain distributions (e.g., mislabels) on certain ML models, while database (DB) community has been mostly studying the problem of data cleaning alone without considering how data is consumed by downstream analytics. We propose the CleanML benchmark that systematically investigates the impact of data cleaning on downstream ML models. The CleanML benchmark currently includes 13 real-world datasets with real errors, five common error types, and seven different ML models. To ensure that our findings are statistically significant, CleanML carefully controls the randomness in ML experiments using statistical hypothesis testing, and also uses the Benjamini-Yekutieli (BY) procedure to control potential false discoveries due to many hypotheses in the benchmark. We obtain many interesting and non-trivial insights, and identify multiple open research directions. We also release the benchmark and hope to invite future studies on the important problems of joint data cleaning and ML.

연구 동기 및 목표

• 데이터 정제가 최종 기계학습 모델 성능에 미치는 영향을 이해하는 데 격차가 존재하는 문제를 해결하기 위해.
• 데이터베이스 연구(정제에 초점)와 기계학습 연구(모델의 강건성에 초점) 사이의 격차를 메우기 위해, 이 둘의 병합 영향을 연구하기 위해.
• 재현 가능하고 통계적으로 타당한 벤치마크를 제공하여 데이터 정제가 기계학습 모델에 미치는 영향을 평가하기 위해.
• 데이터 품질과 모델 성능 간의 관계에 대해 비직관적이지만 경험적으로 기반한 통찰을 도출하기 위해.
• 미래의 데이터 정제와 기계학습의 병합 연구를 자극하기 위해 공개적으로 이용 가능한 벤치마크를 제공하기 위해.

제안 방법

• 벤치마크는 실제 오류를 포함한 13개의 실세계 데이터셋을 통합하여 실용적 관련성을 확보한다.
• 다섯 가지 일반적인 데이터 오류 유형(예: 잘못된 레이블, 이방성값, 중복)이 데이터셋에 체계적으로 삽입되거나 식별된다.
• 청소된 데이터와 원본 데이터에 대해 일곱 가지 다양한 기계학습 모델을 훈련시어 성능 차이를 측정한다.
• 정제로 인한 성능 변화의 유의미성을 엄격하게 평가하기 위해 통계적 가설 검정이 사용된다.
• 다중 가설 검정 상황에서 거짓 발견률을 제어하기 위해 Benjamini-Yekutieli 절차가 적용된다.
• 재현 가능성과 통계적 타당성을 보장하기 위해 통제된 난수를 사용한 실험 설계가 이루어진다.

실험 결과

연구 질문

• RQ1 다양한 기계학습 모델에 대해 다양한 유형의 데이터 오류가 성능에 어떤 영향을 미치는가?
• RQ2 데이터 정제는 하류 기계학습 모델의 정확성과 강건성에 얼마나 기여하는가?
• RQ3 다양한 모델들 사이에서 성능에 비례적으로 큰 영향을 미치는 오류 유형은 무엇인가?
• RQ4 Benjamini-Yekutieli 절차와 같은 통계적 통제는 정제 효과 탐지의 신뢰성에 어떤 영향을 미치는가?
• RQ5 오류 유형과 기계학습 모델의 어떤 조합이 정제 후 가장 뚜렷한 성능 저하 또는 향상 결과를 낳는가?

주요 결과

• 다양한 데이터셋과 모델에서 데이터 정제는 성능 향상에 상당한 영향을 미치며, 영향 크기는 오류 유형과 모델 아키텍처에 따라 다양하다.
• 레이블 노이즈와 이방성값과 같은 일부 오류 유형은 다른 오류 유형보다 모델 정확도에 더 뚜렷한 부정적 영향을 미친다.
• Benjamini-Yekutieli 절차는 다중 가설 검정 상황에서 거짓 발견을 효과적으로 통제하여 벤치마크 결과의 신뢰도를 높인다.
• 일부 기계학습 모델은 특정 오류 유형에 더 민감하므로, 실무에서는 모델 선택과 데이터 품질을 함께 고려해야 한다.
• 벤치마크는 정제와 성능 간의 비직관적이며 맥락에 따라 달라지는 관계를 드러내어, 일관된 향상이라는 가정을 도전한다.
• CleanML의 공개로 인해 데이터 품질과 기계학습 간 상호작용에 대한 재현 가능하고 대규모 연구가 가능해졌다.