[논문 리뷰] A Survey on Data Cleaning Methods for Improved Machine Learning Model Performance

Ga Young Lee, Lubna Alzamil외 2명|arXiv (Cornell University)|2021. 09. 15.

Data Quality and Management참고 문헌 5인용 수 29

한 줄 요약

최첨단 데이터 정리 방법의 ML 성능 향상에 대한 조사로 SampleClean, ActiveClean, Holoclean, AlphaClean, CPClean 등의 방법의 강점/제약 및 향후 연구 방향을 논의한다.

ABSTRACT

Data cleaning is the initial stage of any machine learning project and is one of the most critical processes in data analysis. It is a critical step in ensuring that the dataset is devoid of incorrect or erroneous data. It can be done manually with data wrangling tools, or it can be completed automatically with a computer program. Data cleaning entails a slew of procedures that, once done, make the data ready for analysis. Given its significance in numerous fields, there is a growing interest in the development of efficient and effective data cleaning frameworks. In this survey, some of the most recent advancements of data cleaning approaches are examined for their effectiveness and the future research directions are suggested to close the gap in each of the methods.

연구 동기 및 목표

• 고품질 데이터가 ML 성능에 미치는 중요성을 강조하고 데이터 정리의 실용적 도전 과제를 다룬다.
• 최근 데이터 정리 접근법을 검토하고 강점, 약점, ML 작업에의 적용 가능성을 비교한다.
• 확장 가능하고 효율적이며 일반화 가능한 데이터 정리에 대한 개방 문제와 향후 연구 방향을 식별한다.

제안 방법

• 데이터 관리 시스템 내 데이터 정리 프레임워크에 대한 문헌을 검토하고 종합한다.
• 대표적인 접근법(SampleClean, ActiveClean, Holoclean, AlphaClean, CPClean)과 그 핵심 메커니즘을 설명한다.
• 포괄성(커버리지)과 효율성 간의 trade-off를 강조하고 최적화 도구의 한계와 일반화 가능성에 대해 논의한다.
• 시각화, 프로그래밍 통합, 하드웨어 고려 사항에 걸친 향후 연구 방향을 요약하고 제안한다.

실험 결과

연구 질문

• RQ1 2015년 이후 제시된 ML 모델 성능 향상을 위한 지배적인 데이터 정리 접근법은 무엇인가?
• RQ2 주요 데이터 정리 프레임워크(SampleClean, ActiveClean, Holoclean, AlphaClean, CPClean)의 ML 맥 context에서의 주요 강점과 한계는 무엇인가?
• RQ3 확장 가능하고 효과적인 ML 파이프라인을 위한 데이터 정리의 주요 개방 문제와 향후 방향은 무엇인가?

주요 결과

• 데이터 정리는 비용이 많이 들지만 신뢰할 수 있는 ML 성능에 필수적이며, 더러운 데이터는 상당한 비효율성과 잠재적 매출 영향까지 초래한다.
• 최근 프레임워크는 인적 노력을 줄이고 확장성을 개선하는 것을 목표로 하며, 시뮬레이티드 클린 데이터, 점진적 학습, 확률적 추론, 파이프라인 생성과 같은 접근을 사용한다.
• 전체 데이터 커버리지와 계산 효율성 사이에는 트레이드오프가 존재하여 데이터 세트 특성에 따라 방법 선택에 영향을 준다.
• 최적화 도구의 설계와 사용자 상호작용은 실용적 채택과 도메인 간 일반화에 있어 중요한 장벽이다.
• 향후 방향은 시각화, 통합 확률적 데이터 프로그래밍, 하드웨어 지원 메모리 관리로 성능과 사용 편의성을 향상시키는 데 방점을 둔다.