[논문 리뷰] Augmented Data Science: Towards Industrialization and Democratization of Data Science

Hüseyin Uzunalioğlu, Jin Cao외 6명|arXiv (Cornell University)|2019. 09. 12.

Scientific Computing and Data Management인용 수 6

한 줄 요약

이 논문은 통계 및 기계학습을 활용하여 데이터 탐색, 정제, 특성 공학, 모델 선택을 자동화하는 도메인에 관계없이 적용 가능한 종단간 프레임워크인 증강 데이터 과학(ADS)을 소개한다. 이는 데이터 과학 작업에서 수동 작업을 줄이기 위한 것이다. 이 방법은 실제 데이터셋에서 AUC 0.781의 우수한 성능을 달성하여, 인간의 간섭을 최소화하면서도 데이터 과학의 산업화와 민주화 가능성을 입증한다.

ABSTRACT

Conversion of raw data into insights and knowledge requires substantial amounts of effort from data scientists. Despite breathtaking advances in Machine Learning (ML) and Artificial Intelligence (AI), data scientists still spend the majority of their effort in understanding and then preparing the raw data for ML/AI. The effort is often manual and ad hoc, and requires some level of domain knowledge. The complexity of the effort increases dramatically when data diversity, both in form and context, increases. In this paper, we introduce our solution, Augmented Data Science (ADS), towards addressing this "human bottleneck" in creating value from diverse datasets. ADS is a data-driven approach and relies on statistics and ML to extract insights from any data set in a domain-agnostic way to facilitate the data science process. Key features of ADS are the replacement of rudimentary data exploration and processing steps with automation and the augmentation of data scientist judgment with automatically-generated insights. We present building blocks of our end-to-end solution and provide a case study to exemplify its capabilities.

연구 동기 및 목표

• 데이터 과학에서의 '인간의 한계' 문제를 해결하기 위해, 최대 80%의 노력이 모델링이 아닌 데이터 준비 작업에 소요되는 문제를 해결한다.
• 다양한 데이터셋에서 깊은 도메인 전문 지식 없이도 빠르고 확장 가능한 통찰을 추출할 수 있도록 데이터 과학의 산업화를 추진한다.
• 비전문가가 자동화와 지능적인 보조 기능을 통해 기본적인 데이터 과학 작업을 수행할 수 있도록 데이터 과학의 민주화를 추진한다.
• 원시적이고 저품질의 데이터를 다룰 수 있으며, 필요에 따라 사용자 간섭을 지원하는 작업에 관계없이 강건하고 상호작용 가능한 시스템을 개발한다.

제안 방법

• ADS는 도메인 지식이 필요 없이 데이터의 구조, 품질, 관계를 분석하기 위해 자동화된 통계 및 기계학습 기법을 사용한다.
• 비지도 및 준지도 학습 기법을 적용하여 결측치 패턴, 상관관계, 이상치와 같은 데이터 품질 문제를 탐지한다.
• 데이터 기반 접근 방식을 통해 자동으로 특성 생성을 수행하며, 데이터 의미와 관계를 유지하는 데 중점을 둔다.
• lightGBM 및 베이지안 최적화와 같은 알고리즘을 사용한 모델 선택 파이프라인을 활용하여 최고 성능을 보이는 모델을 식별한다.
• 자동화가 충분하지 않을 경우 전문가가 간섭할 수 있도록 시각적 및 분석적 통찰을 제공하는 방식으로 사용자 보완을 지원한다.
• 데이터 탐색, 특성 공학, 모델 튜닝을 하나의 상호작용 가능한 워크플로우로 연결하는 종단간 파이프라인으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 자동화된 도메인에 관계없는 기법이 데이터 준비 및 특성 공학에 필요한 수동 작업을 크게 줄일 수 있는가?
• RQ2 도메인 전문 지식 없이도 자동으로 고품질의 특성과 모델을 생성하는 종단간 데이터 기반 시스템의 효과성은 어떠한가?
• RQ3 특히 데이터 품질이 낮거나 복잡한 경우, 자동화된 통찰이 인간의 판단을 얼마나 잘 보완할 수 있는가?
• RQ4 이러한 시스템은 인간의 입력을 최소화하면서도 전문가가 최적화한 모델에 비해 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• ADS는 실생활의 신용 리스크 데이터셋에서 수동 특성 생성 및 모델 선택만을 사용하여 AUC 0.781의 성능을 달성하여 강력한 기초 성능을 입증했다.
• 시스템은 체계적인 결측치 패턴(예: 31개 컬럼 중 73%가 동시에 결측)을 성공적으로 탐지하여 더 나은 데이터 처리 결정을 가능하게 했다.
• 높은 상관관계를 보이는 컬럼 쌍과 구조적 패턴(예: 연관 그래프에서 클리크)을 탐지하여 사전 가정 없이도 숨겨진 데이터 관계를 드러냈다.
• 수동 데이터 탐색 및 전처리의 필요성을 줄여 새로운 다양한 데이터셋에서 빠르게 통찰을 도출할 수 있도록 했다.
• 공개 리더보드에서 상위 성능을 내는 모델들은 수백 번의 제출과 전문가의 튜닝이 필요로 했지만, ADS는 몇 차례의 자동화된 실행만으로도 상위 수준의 성능을 달성했다.
• 결과적으로 자동 특성 공학 및 모델 선택이 수작업으로 만든 도메인 특성 없이도 경쟁 가능한 모델을 생성할 수 있음을 시사하며, 전문 지식을 통합하면 성능을 더욱 향상시킬 수 있다.