[논문 리뷰] How can AI Automate End-to-End Data Science?

Charų C. Aggarwal, Djallel Bouneffouf외 10명|arXiv (Cornell University)|2019. 10. 22.

Machine Learning and Data Classification참고 문헌 47인용 수 5

한 줄 요약

이 논문은 데이터 과학 전 과정—데이터 수집 및 통합에서 모델 훈련, 튜닝, 배포에 이르기까지—를 자동화하는 종합적인 엔드 투 엔드 자동화된 데이터 과학(AutoDS) 프레임워크를 제안한다. 기존 접근법을 융합하고 계산 비용과 도메인 지식 통합과 같은 핵심 과제를 규명하며, 확장성 있고 인간에 의존하지 않는 데이터 과학 시스템을 달성하기 위해 비지도 학습, 강화 학습, 이행 학습을 조합할 것을 주장한다.

ABSTRACT

Data science is labor-intensive and human experts are scarce but heavily involved in every aspect of it. This makes data science time consuming and restricted to experts with the resulting quality heavily dependent on their experience and skills. To make data science more accessible and scalable, we need its democratization. Automated Data Science (AutoDS) is aimed towards that goal and is emerging as an important research and business topic. We introduce and define the AutoDS challenge, followed by a proposal of a general AutoDS framework that covers existing approaches but also provides guidance for the development of new methods. We categorize and review the existing literature from multiple aspects of the problem setup and employed techniques. Then we provide several views on how AI could succeed in automating end-to-end AutoDS. We hope this survey can serve as insightful guideline for the AutoDS field and provide inspiration for future research.

연구 동기 및 목표

• AutoDS 과제를 데이터 과학 워크플로우의 종합적이고 엔드 투 엔드 자동화로 정의하고 공식화하기.
• 데이터 통합, 모델 선택, 하이퍼파rameter 튜닝, 모델 최신성 등의 데이터 과학 단계 전반에서 핵심 과제를 규명하고 분류하기.
• 기존 방법을 통합하고 향후 자동화된 데이터 과학 연구를 이끄는 일반적인 AutoDS 프레임워크 제안하기.
• 파이프라인 조합, 자원 할당, 모델 재학습과 같은 메타 결정을 자동화하기 위해 AI의 역할 탐색하기.
• 장기 학습, 비지도 표현 학습, 자동화 시스템에서의 계산 비용과 같은 열린 문제 해결하기.

제안 방법

• 데이터 수신부터 배포까지 데이터 과학 파이프라인 전 단계를 아우르는 일반 AutoDS 프레임워크 제안하기.
• 문제 설정(예: 지도 학습 대비 비지도 학습)과 기술적 접근(예: 강화 학습, 베이지안 최적화)에 따라 기존 AutoDS 기법 분류하기.
• 특히 이질적이고 비정형 데이터 환경에서의 자동화된 데이터 수집 및 스키마 통합을 위해 활성 학습과 AI 플래너 통합하기.
• 딥 러닝과 신경망 아키텍처 탐색(NAS)을 활용해 자동 특징 공학 및 모델 아키텍처 탐색 수행하기.
• 장기적이고 적응형 학습 시스템을 가능하게 하기 위해 강화 학습, 비지도 사전 학습, 이행 학습을 조합하는 방법 제안하기.
• 데이터 통합 및 ETL 파이프라인에서 강건성과 재사용성을 향상시키기 위해 선언적 인터페이스와 도메인 특화 모델링의 활용 강조하기.

실험 결과

연구 질문

• RQ1 AI는 얼마나 최소한의 인간 간섭으로 데이터 수집부터 모델 배포까지 데이터 과학 작업 전반을 자동화할 수 있는가?
• RQ2 엔드 투 엔드 데이터 과학 자동화에서 핵심 장애 요인은 무엇이며, AI 기반 기법으로 어떻게 이를 해결할 수 있는가?
• RQ3 왜곡되거나 모델 일반화 능력을 제한하지 않도록 도메인 지식을 자동화된 시스템에 얼마나 통합할 수 있는가?
• RQ4 비지도 학습과 강화 학습을 어떻게 조합하여 장기적이고 자가 개선 가능한 데이터 과학 시스템을 구현할 수 있는가?
• RQ5 계산 비용과 하드웨어 제약은 자동화된 데이터 과학의 확장성에 어떤 영향을 미치며, 양자 컴퓨팅과 같은 새로운 패러다임은 이를 어떻게 지원할 수 있는가?

주요 결과

• 활성 학습과 AI 플래너는 특히 비정형 및 이질적 데이터 환경에서 데이터 수집 및 스키마 통합을 성공적으로 자동화했다.
• 딥 러닝은 수동 특징 설계에 대한 의존도를 줄여 자동 특징 공학을 실현했지만, 모델 선택과 하이퍼파rameter 튜닝에 여전히 과제가 존재한다.
• 명시적 도메인 지식이 없는 데이터 기반 모델은 자연어 처리 및 게임 플레이 분야에서 규칙 기반 시스템보다 뛰어난 성능을 보이며, 이는 일부 경우에서 도메인 지식이 제한 요소가 될 수 있음을 시사한다.
• 강화 학습, 비지도 사전 학습, 이행 학습은 장기 학습을 가능하게 하며 핵심 요소이지만, 이를 원활하게 통합하는 것은 여전히 열린 과제이다.
• 계산 비용은 AutoDS에서 가장 큰 장애 요소이며, 현재 시스템은 생물학적 학습 과정의 규모와 효율성에 크게 못 미친다.
• 생성 모델(GAN 등)의 진전에도 불구하고, 지도 학습, 비지도 학습, 강화 학습의 다중 학습 패러다임 통합은 아직 이뤄지지 못한 상태이다.