[논문 리뷰] Preprocessing Methods and Pipelines of Data Mining: An Overview

Canchen Li|arXiv (Cornell University)|2019. 06. 20.

Anomaly Detection Techniques and Applications참고 문헌 26인용 수 13

한 줄 요약

이 논문은 데이터 마이닝에서의 데이터 전처리 기법에 대한 종합적인 개요를 제공하며, 이를 데이터 정제, 변환, 압축으로 분류한다. 전처리가 노이즈, 누락된 값, 차원의 문제와 같은 문제를 해결하여 모델 성능을 향상시키는 방식을 설명하며, 전처리 파이프라인 워크플로우의 체계화와 모델 정확도 및 효율성에 미치는 영향 평가에서 주요 기여를 한다.

ABSTRACT

Data mining is about obtaining new knowledge from existing datasets. However, the data in the existing datasets can be scattered, noisy, and even incomplete. Although lots of effort is spent on developing or fine-tuning data mining models to make them more robust to the noise of the input data, their qualities still strongly depend on the quality of it. The article starts with an overview of the data mining pipeline, where the procedures in a data mining task are briefly introduced. Then an overview of the data preprocessing techniques which are categorized as the data cleaning, data transformation and data preprocessing is given. Detailed preprocessing methods, as well as their influenced on the data mining models, are covered in this article.

연구 동기 및 목표

• 데이터 마이닝 파이프라인 내에서 데이터 전처리 기법을 체계화하여 모델의 강건성을 향상시키기 위해.
• 실제 데이터셋에서 노이즈, 완전하지 않은, 일관성 없는 데이터로 인한 과제를 해결하기 위해.
• 전처리가 모델 최적화, 일반화 및 학습 효율성에 미치는 영향을 평가하기 위해.
• 데이터 특성에 따라 적절한 전처리 방법을 선택하는 데 실무자에게 체계적인 참고 자료를 제공하기 위해.

제안 방법

• 전처리를 세 가지 핵심 단계로 분류: 데이터 정제, 데이터 변환, 데이터 압축.
• 누락된 값 처리, 이방치 탐지, 중복 제거와 같은 데이터 정제 기법을 검토.
• 정규화, 표준화, 특징 공학을 포함한 데이터 변환 방법을 상세히 기술하여 모델 호환성을 향상.
• PCA와 LDA를 통한 차원 축소 및 샘플링 및 선택 알고리즘을 통한 인스턴스 수준의 압축을 검토.
• 예측 성능을 최적화하기 위한 필터, 워퍼, 임베디드 방법을 통한 특징 선택을 소개.
• 파이썬과 R에서 전처리 파이프라인을 구현하기 위해 scikit-learn 및 PreProcess와 같은 도구의 사용을 강조.

실험 결과

연구 질문

• RQ1 다양한 전처리 기법이 데이터 마이닝 모델의 성능과 안정성에 어떤 영향을 미치는가?
• RQ2 실제 데이터셋에서 누락된 값, 이방치, 일관성 없는 데이터를 다루는 데 가장 효과적인 방법은 무엇인가?
• RQ3 고차원 데이터에서 특징 선택은 모델 정확도와 일반화에 어떤 영향을 미치는가?
• RQ4 샘플링 및 차원 축소와 같은 데이터 압축 기법이 모델 품질을 손상시키지 않으면서 학습 효율성을 얼마나 향상시킬 수 있는가?
• RQ5 전처리는 데이터에서 지식 추출의 상한선을 설정하는 데 어떤 역할을 하는가?

주요 결과

• 데이터 전처리는 노이즈 감소, 누락된 값 처리, 일관성 없는 데이터 수정을 통해 모델 성능을 크게 향상시킨다.
• 정규화와 표준화로 인해 특징 스케일을 통일하고 알고리즘의 불안정성을 줄여 최적화 수렴을 향상시킨다.
• 특징 선택 방법—특히 Lasso 및 리지 회귀와 같은 임베디드 기법—는 관련성이 낮은 특징에 대한 페널티를 주어 과적합을 효과적으로 줄인다.
• PCA와 LDA와 같은 차원 축소 기법은 데이터의 가장 정보성 있는 성분에 집중함으로써 모델 일반화를 향상시킨다.
• 인스턴스 선택 및 샘플링 방법(예: 계층적 샘플링, 압축된 최근접 이웃)은 학습 시간과 자원 사용을 줄이면서도 모델 정확도를 유지한다.
• 데이터 마이닝 파이프라인은 선형적이지 않으며, 최적의 결과를 얻기 위해 전처리 및 모델링 단계의 반복적 개선이 필수적이다.