[논문 리뷰] Data Cleaning and Machine Learning: A Systematic Literature Review

Pierre-Olivier Côté, Amin Nikanjam외 3명|arXiv (Cornell University)|2023. 10. 03.

Data Quality and Management인용 수 6

한 줄 요약

이 체계적 문헌 고찰은 2016–2022년 동안 기계학습을 위한 데이터 정제(DC4ML) 및 기계학습을 위한 데이터 정제(ML4DC)에 관한 101篇의 연구를 종합하여, 특성 정제, 레이블 정제, 실체 매칭, 이방치 탐지, 보간, 통합 정제의 여섯 가지 핵심 데이터 정제 활동을 규명한다. 본 연구는 데이터 증강, 공개 데이터셋, 도구 개발, LLM, 통합적 접근법, 상호작용형 정제를 중심으로 24개의 실행 가능한 향후 연구 방향을 제시한다.

ABSTRACT

Context: Machine Learning (ML) is integrated into a growing number of systems for various applications. Because the performance of an ML model is highly dependent on the quality of the data it has been trained on, there is a growing interest in approaches to detect and repair data errors (i.e., data cleaning). Researchers are also exploring how ML can be used for data cleaning; hence creating a dual relationship between ML and data cleaning. To the best of our knowledge, there is no study that comprehensively reviews this relationship. Objective: This paper's objectives are twofold. First, it aims to summarize the latest approaches for data cleaning for ML and ML for data cleaning. Second, it provides future work recommendations. Method: We conduct a systematic literature review of the papers published between 2016 and 2022 inclusively. We identify different types of data cleaning activities with and for ML: feature cleaning, label cleaning, entity matching, outlier detection, imputation, and holistic data cleaning. Results: We summarize the content of 101 papers covering various data cleaning activities and provide 24 future work recommendations. Our review highlights many promising data cleaning techniques that can be further extended. Conclusion: We believe that our review of the literature will help the community develop better approaches to clean data.

연구 동기 및 목표

• 최근 기계학습을 위한 데이터 정제(DC4ML) 및 기계학습을 위한 데이터 정제(ML4DC)의 발전을 종합적으로 요약하여, 두 분야 간 상호관계를 다루는 것.
• 특성 정제, 레이블 정제, 실체 매칭, 이방치 탐지, 보간, 통합 데이터 정제의 여섯 가지 핵심 데이터 정제 활동에 걸쳐 최신 기법을 식별하고 분류하는 것.
• 연구자와 실무자들이 기계학습 시스템의 데이터 품질을 향상시키는 데 도움이 되는 근거 기반의 실행 가능한 향후 연구 방향을 제공하는 것.
• 구조적이고 근거 기반의 최신 데이터 정제 기법 개요를 제공함으로써 새로운 데이터 중심 AI(DCAI) 운동을 지원하는 것.
• 투명한 필터링, 품질 관리, 공개 복제 패키지 등을 통해 체계적 문헌 고찰(SLR)을 통해 방법론적 엄밀성과 재현 가능성을 확보하는 것.

제안 방법

• PRISMA 지침을 따르는 체계적 문헌 고찰(SLR)을 수행하여, IEEE Xplore, ACM 디지털 라이브러리, Springer 등의 주요 학술 데이터베이스에서 2016–2022년 출간된 논문을 대상으로 하였다.
• 다단계 필터링 프로세스를 적용: 키워드 및 스노우볼링을 통한 초기 검색 후, 관련성, 데이터 유형(표형, 텍스트, 이미지), 출판 품질 기반의 포함/배제 기준을 적용.
• 방법론적 엄밀성 평가 및 선택된 논문의 정확한 해석을 확보하기 위해 품질 관리 질문을 사용하였으며, 각 필터링 단계에서 이중 리뷰어 검증을 실시.
• 여섯 가지 카테고리로 데이터 정제 활동을 분류하는 분류 체계를 수립: 특성 정제, 레이블 정제, 실체 매칭, 이방치 탐지, 보간, 통합 데이터 정제.
• 재현 가능성과 명확성을 중시하여, 101편의 고품질 논문에서 주요 기법, 모델, 평가 지표를 추출하고 종합하였다.
• 모든 필터링된 논문, 품질 평가, 추출된 데이터를 포함한 공개 복제 패키지를 GitHub에 제공하여 투명성과 재현 가능성을 확보.

실험 결과

연구 질문

• RQ1 2016년부터 2022년까지 기계학습 모델 성능 향상을 위한 데이터 정제 기법 중 가장 두드러진 것은 무엇인가?
• RQ2 최근 기계학습의 발전은 데이터 정제 과정의 자동화 또는 향상에 어떻게 적용되었는가(ML4DC)?
• RQ3 특성 정제, 레이블 보정, 이방치 탐지 등의 데이터 정제 활동 중 어느 것이 가장 활발히 연구되고 있으며, 그 주요 방법론은 무엇인가?
• RQ4 문헌 기반으로 현재 기계학습을 위한 데이터 정제 접근법의 주요 격차와 한계는 무엇인가?
• RQ5 기계학습 시스템의 데이터 정제를 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 2016년부터 2022년까지 101편의 관련 논문을 식별하였으며, 다양한 데이터 유형(표형, 텍스트, 이미지)과 데이터 정제 활동을 포함한다.
• 특성 정제와 레이블 정제가 가장 빈번히 연구된 활동으로, 모델 불확실성, 주도학습, 약한 감독 기법이 활용되었다.
• 이방치 탐지 및 보간 기법은 점점 더 딥러닝과 자기지도 학습 모델을 활용하고 있으며, 특히 고차원 또는 노이즈가 많은 데이터 환경에서 두드러진다.
• 실체 매칭과 통합 정제 활동은 점점 주목받고 있으며, 최근 기법들은 정점 신경망과 다중 작업 학습을 조합하여 정확도 향상을 도모한다.
• 많은 연구가 합성 또는 전용 데이터셋에 의존하고 있어, 더 많은 공개적이고 고품질의 데이터 정제 벤치마크가 필수적임을 시사한다.
• 본 연구는 LLM을 활용한 데이터 정제, 데이터 증강 향상, 상호작용형 사용자 참여 정제 도구 개발 등을 포함해 총 24개의 향후 연구 방향을 규명하였다.