[논문 리뷰] Progressive Data Science: Potential and Challenges

Çağatay Turkay, Nicola Pezzotti외 8명|arXiv (Cornell University)|2018. 12. 19.

Data Stream Mining Techniques참고 문헌 80인용 수 26

한 줄 요약

이 논문은 실시간으로 점진적으로 정밀해지는 결과를 제공함으로써 반복적인 데이터 과학 파이프라인을 가속화하는 새로운 패러다임인 프로그레시브 데이터 과학을 소개한다. 중간 결과에 조기에 액세스할 수 있도록 함으로써 데이터 과학자들이 오류를 조기에 발견하고 결정을 보완하며, 데이터 선택, 전처리, 변환, 탐색 단계의 탐색을 가속화할 수 있다. 이는 시도와 실수의 워크플로우에 소요되는 시간을 크게 줄인다.

ABSTRACT

Data science requires time-consuming iterative manual activities. In particular, activities such as data selection, preprocessing, transformation, and mining, highly depend on iterative trial-and-error processes that could be sped-up significantly by providing quick feedback on the impact of changes. The idea of progressive data science is to compute the results of changes in a progressive manner, returning a first approximation of results quickly and allow iterative refinements until converging to a final result. Enabling the user to interact with the intermediate results allows an early detection of erroneous or suboptimal choices, the guided definition of modifications to the pipeline and their quick assessment. In this paper, we discuss the progressiveness challenges arising in different steps of the data science pipeline. We describe how changes in each step of the pipeline impact the subsequent steps and outline why progressive data science will help to make the process more effective. Computing progressive approximations of outcomes resulting from changes creates numerous research challenges, especially if the changes are made in the early steps of the pipeline. We discuss these challenges and outline first steps towards progressiveness, which, we argue, will ultimately help to significantly speed-up the overall data science process.

연구 동기 및 목표

• 데이터 워글링과 모델 튜닝이 분석가의 50퍼센트 이상의 시간을 차지하는 전통적인 데이터 과학 워크플로우의 시간 소모적인 반복적 성격을 해결한다.
• KDD 파이프라인의 모든 단계에서 진행성(Progressiveness)을 도입함으로써 배치 처리의 한계를 극복한다.
• 분석가가 근사 결과를 통해 조기에 결정을 평가하고 보완할 수 있는 상호작용적이고 인간 중심의 데이터 과학을 가능하게 한다.
• 기존에 반복적이지 않은 알고리즘(예: 군집화, 학습)을 프로그레시브하게 만들기 위한 연구 과제를 규명하고 해결한다.
• 인간의 전문 지식이 핵심이 되는 패러다임 전환을 촉진하여 모델의 신뢰성과 해석 가능성을 향상시킨다.

제안 방법

• 초기 근사 결과를 신속하게 제공하고 반복적으로 정밀화하는 프로그레시브 계산 모델을 도입한다.
• 데이터 선택, 전처리, 변환, 탐색 단계를 포함한 KDD 파이프라인의 모든 단계에 프로그레시브 피드백을 통합한다.
• 분석가가 초기 결과를 바탕으로 거리 측정법, 정제 규칙 등 결정을 수정할 수 있도록 상호작용 탐색을 지원한다.
• 기존 데이터베이스, 머신러닝, 시각화 커뮤니티에서 확보한 프로그레시브 기법을 기초 구성 요소로 활용한다.
• 수렴 속도가 다른 여러 병렬 계산 스트림 간의 분석 증명 기록을 유지할 수 있는 시스템을 설계한다.
• 프로그레시브 환경에서 사용자 결정을 지원하기 위한 새로운 상호작용 메타포와 불확실성 표현 방법을 개발한다.

실험 결과

연구 질문

• RQ1 프로그레시브 계산이 데이터 과학 파이프라인의 모든 단계에 통합되어 시도와 실수 워크플로우에 소요되는 시간을 어떻게 줄일 수 있는가?
• RQ2 기존에 배치 기반으로 설계된 알고리즘(예: 군집화, 모델 학습)을 프로그레시브하게 만들기 위한 핵심 과제는 무엇인가?
• RQ3 중간 결과의 품질과 진행 정도를 정량적으로 평가하여 신뢰할 수 있는 사용자 결정을 지원하는 방법은 무엇인가?
• RQ4 프로그레시브 데이터 과학 워크플로우를 안내하는 데 가장 효과적인 상호작용 기법과 메타포는 무엇인가?
• RQ5 수렴 속도가 다른 병렬로 진행되는 여러 계산 경로 간에 분석 증명 기록을 어떻게 관리할 수 있는가?

주요 결과

• 프로그레시브 데이터 과학은 군집화에서 비효율적인 거리 측정법을 조기에 발견할 수 있도록 초당 근사 결과를 제공함으로써, 수 시간에 걸치는 낭비된 계산을 피할 수 있다.
• 이 방법은 후속 단계(예: 군집화)에서의 통찰을 바탕으로 이전 단계(예: 데이터 정제)를 다시 검토하고 보완할 수 있도록 하여, 데이터 품질과 모델 성능을 향상시키는 피드백 루프를 형성한다.
• 모든 작업이 프로그레시브 방법에 동일하게 적합한 것은 아니며, 예를 들어 정확한 답이 필요한 작업(예: MIN/MAX)은 근사화에 이점이 없을 수 있으므로 하이브리드 배치-프로그레시브 모델이 필요하다.
• 프로그레시브 방법은 다양한 옵션을 시험해보는 탐색적 작업(예: 다양한 거리 함수 테스트)에 특히 효과적이며, 초기에 열악한 선택지를 거부함으로써 상당한 시간 절약이 가능하다.
• 상호작용 피드백 루프를 통해 인간의 전문 지식을 통합함으로써 모델의 해석 가능성과 신뢰성이 향상되며, 인간의 감시 없이 자동화 경향을 상쇄할 수 있다.
• 수렴 속도가 다른 병렬 계산 스트림을 관리하고, 프로그레시브 분석 과정에 대한 효과적인 증명 기록 추적 기법을 개발하는 데는 여전히 연구 과제가 남아 있다.