[논문 리뷰] Evolving imputation strategies for missing data in classification problems with TPOT

Unai Garciarena, Roberto Santana외 1명|arXiv (Cornell University)|2017. 06. 04.

Data Mining Algorithms and Applications참고 문헌 15인용 수 10

한 줄 요약

이 논문은 분류 작업에서 결측 데이터를 처리하기 위한 임퓨티션 전략을 포함하는 최적의 머신러닝 파이프라인을 자동으로 진화시키기 위해 TPOT 프레임워크 내에서 유전적 프로그래밍을 사용하는 것을 제안한다. 이 방법은 기존의 정적 임퓨티션 선택 방식보다 동적으로 최적의 임퓨티션 방법과 분류기 조합을 선별함으로써 다양한 결측치를 포함한 데이터셋에서 분류 정확도를 크게 향상시킨다.

ABSTRACT

Missing data has a ubiquitous presence in real-life applications of machine learning techniques. Imputation methods are algorithms conceived for restoring missing values in the data, based on other entries in the database. The choice of the imputation method has an influence on the performance of the machine learning technique, e.g., it influences the accuracy of the classification algorithm applied to the data. Therefore, selecting and applying the right imputation method is important and usually requires a substantial amount of human intervention. In this paper we propose the use of genetic programming techniques to search for the right combination of imputation and classification algorithms. We build our work on the recently introduced Python-based TPOT library, and incorporate a heterogeneous set of imputation algorithms as part of the machine learning pipeline search. We show that genetic programming can automatically find increasingly better pipelines that include the most effective combinations of imputation methods, feature pre-processing, and classifiers for a variety of classification problems with missing data.

연구 동기 및 목표

• 기존에 상당한 수동 튜닝이 필요한 분류 작업에서 결측 데이터가 있는 경우 최적의 임퓨티션 방법을 선택하는 문제를 해결하기 위해.
• TPOT 자동 머신러닝 프레임워크를 확장하여 임퓨티션을 파이프라인 구성 요소로 네이티브로 지원하도록 하기 위해.
• 유전적 프로그래밍이 결측 데이터에 대한 효과적인 데이터 특화 조합의 임퓨티션 및 분류 알고리즘을 발견할 수 있는지 조사하기 위해.
• 다양한 결측 데이터 패턴과 수준을 가진 여러 데이터셋에서 진화된 파이프라인의 성능을 평가하기 위해.
• 진화된 파이프라인에서 효과적인 임퓨티션 방법과 후속 분류기 간의 관계를 분석하기 위해.

제안 방법

• 저자들은 유전적 프로그래밍을 사용하여 전처리, 특징 선택, 임퓨티션, 분류 단계를 포함하는 엔드 투 엔드 머신러닝 파이프라인을 진화시킨다.
• 실제 세계의 데이터셋에 제어된 메커니즘을 사용하여 결측 데이터를 시뮬레이션하여 MCAR, MAR, MNAR 패턴을 생성하여 평가한다.
• 적합도 함수는 검증 세트에서의 오차를 최소화하는 데 중점을 두고 분류 정확도 기반으로 파이프라인 성능을 평가한다.
• 진화적 탐색은 임퓨티션 방법(예: 평균, 중앙값, 최빈값, MICE)과 분류기(예: 랜덤 포레스트, XGBoost, 기울기 부스팅)의 조합을 탐색하여 성능을 최적화한다.
• 최고 성능을 보인 파이프라인에 대한 통계 분석을 수행하여 효과적인 임퓨터-분류기 조합의 반복 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 결측 데이터가 존재하는 상황에서 유전적 프로그래밍이 임퓨티션 및 분류 알고리즘의 최적 조합을 효과적으로 탐색할 수 있는가?
• RQ2 다양한 데이터셋에서 결측치가 있는 경우 항상 높은 분류 정확도를 보이는 임퓨티션 방법은 무엇인가?
• RQ3 다양한 결측 데이터 패턴(MCAR, MAR, MNAR)은 진화된 파이프라인의 성능에 어떤 영향을 미치는가?
• RQ4 특정 분류기-임퓨티션 조합이 높은 성능을 보이는 파이프라인에서 더 자주 나타나는가?
• RQ5 TPOT에 임퓨티션을 통합함으로써 자동 머신러닝 파이프라인의 전체 성능과 내구성은 어떻게 영향을 받는가?

주요 결과

• 유전적 프로그래밍 접근 방식은 결측 데이터가 있는 여러 데이터셋에서 분류 정확도를 일관되게 향상시켜 자동 파이프라인 탐색의 효과성을 입증한다.
• 단일 임퓨티션 방법이 항상 다른 방법보다 뛰어나지 않았으며, 성능은 데이터셋과 결측 데이터 패턴에 따라 크게 달라졌다.
• 가장 높은 총 정확도를 기록한 임퓨티션 방법은 최빈값이었지만, 다양한 데이터셋에서 중앙값 임퓨티션이 더 자주 선택되었다.
• 기울기 부스팅 분류기는 중앙값 또는 최빈값 임퓨티션 전략과 조합했을 때 뛰어난 성능을 보였다.
• 진화된 파이프라인은 간단한 임퓨티션 방법이 특히 저도 및 중간 수준의 결측률에서 더 복잡한 방법보다 성능이 뛰어나다는 것을 보여주었다.
• TPOT에 임퓨티션 통합은 탐색 공간을 확장했으며, 결측치를 처리할 수 없는 분류기조차도 파이프라인 내에서 사용할 수 있도록 하였다.