[논문 리뷰] Impacts of Dirty Data: and Experimental Evaluation

Zhixin Qi, Hongzhi Wang외 2명|arXiv (Cornell University)|2018. 03. 16.

Machine Learning and Data Classification참고 문헌 44인용 수 11

한 줄 요약

이 논문은 누락, 일관성 없음, 충돌이 있는 데이터가 분류 및 군집 알고리즘에 미치는 영향을 실험적으로 평가하며, 강건성(robustness)을 정량화하기 위해 새로운 지표인 '감도성'(sensibility)과 '유지점'(keeping point)을 도입한다. 오류율과 작업 요구사항을 바탕으로 데이터 기반의 알고리즘 선택 가이드라인과 타깃 데이터 정제 전략을 제공하여 불필요한 정제 비용을 줄이면서도 정확도를 유지한다.

ABSTRACT

Data quality issues have attracted widespread attention due to the negative impacts of dirty data on data mining and machine learning results. The relationship between data quality and the accuracy of results could be applied on the selection of the appropriate algorithm with the consideration of data quality and the determination of the data share to clean. However, rare research has focused on exploring such relationship. Motivated by this, this paper conducts an experimental comparison for the effects of missing, inconsistent and conflicting data on classification and clustering algorithms. Based on the experimental findings, we provide guidelines for algorithm selection and data cleaning.

연구 동기 및 목표

• 누락, 일관성 없음, 충돌이 있는 데이터가 분류 및 군집 알고리즘에 미치는 영향을 구체적으로 조사하기 위해.
• 더러운 데이터 조건 하에서 알고리즘 성능의 변동성과 강건성(robustness)을 포괄하는 새로운 평가 지표를 개발하기 위해.
• 사용자가 데이터 품질과 작업 요구사항을 바탕으로 적절한 알고리즘을 선택하고, 데이터를 선택적으로 정제할 수 있도록 실질적인 가이드라인을 제공하기 위해.
• 수용 가능한 성능을 유지할 수 있는 최소한의 데이터 품질 기준(유지점)을 식별하여 데이터 정제 비용을 줄이기 위해.

제안 방법

• 저자들은 실험 평가를 위해 12개의 고전적 분류 및 군집 알고리즘을 선정하였다.
• 다양한 데이터 크기와 오류율에서 제어된 수준의 누락, 일관성 없음, 충돌이 있는 데이터를 포함한 시뮬레이션 데이터셋을 생성하였다.
• 두 가지 새로운 지표를 도입하였다: 감도성(sensibility, 데이터 품질 문제에 대한 민감도를 측정)과 유지점(keeping point, 수용 가능한 성능을 유지할 수 있는 최대 오류율).
• 표준 지표(Precision, Recall, F-measure)와 함께 새로운 지표를 사용하여 안정성과 강건성(robustness)을 평가하였다.
• 다양한 데이터셋과 오류 유형에서 실험을 수행하여 알고리즘 행동의 추세를 분석하였다.
• 실험 결과를 바탕으로 알고리즘 선택과 정제 임계값을 오류 유형과 데이터 품질 수준과 연결하는 가이드라인을 도출하였다.

실험 결과

연구 질문

• RQ1 누락, 일관성 없음, 충돌이 있는 다양한 유형의 더러운 데이터가 분류 및 군집 알고리즘 성능에 어떻게 영향을 미치는가?
• RQ2 기계학습 알고리즘이 데이터 품질 문제에 민감도와 강건성(robustness)을 효과적으로 측정할 수 있는 지표는 무엇인가?
• RQ3 특정 유형의 더러운 데이터에 대해 가장 내성적인 알고리즘은 무엇이며, 데이터 크기가 이 내성성에 어떤 영향을 미치는가?
• RQ4 각 알고리즘이 수용 가능한 성능을 유지하기 위해 허용할 수 있는 최대 오류율(유지점)은 얼마인가?
• RQ5 사용자는 어떤 식으로 가장 중요한 데이터 품질 문제에 집중하여 데이터 정제를 최적화할 수 있는가?

주요 결과

• 로지스틱 회귀(Logistic Regression)는 누락 데이터 하에서 가장 강건한 분류 알고리즘으로, 가장 높은 유지점과 가장 낮은 감도성을 보였다.
• LVQ는 충돌 데이터에 가장 내성적인 군집 알고리즘으로, 충돌 데이터에 대해 가장 높은 유지점을 보였으며, CURE는 충돌 값에 민감하여 가장 내성성이 떨어졌다.
• DBSCAN은 대규모 데이터셋에서 가장 안정적인 군집 알고리즘으로, 데이터 크기가 증가함에도 일관된 성능을 유지하였다.
• 대부분의 알고리즘은 데이터 크기가 증가할수록 F-measure가 불안정해지지만, DBSCAN만이 고용량 및 더러운 데이터 조건에서도 강건성을 유지하였다.
• 청결한 데이터에서 F-measure > 80%를 기록한 알고리즘들은 더러운 데이터 하에서 성능 변동이 심각하게 나타나며, 특히 오류율이 증가할수록 더욱 두드러졌다.
• 유지점 지표는 알고리즘 성능이 더 이상 수용 가능하지 않을 때의 임계 오류율을 효과적으로 식별하여 타깃 기반의 데이터 정제를 가능하게 하였다.