[논문 리뷰] PipelineProfiler: A Visual Analytics Tool for the Exploration of AutoML Pipelines

Jorge Piazentin Ono, Sonia Castelo외 4명|arXiv (Cornell University)|2020. 04. 30.

Machine Learning and Data Classification인용 수 5

한 줄 요약

PipelineProfiler는 데이터 과학자가 여러 AutoML 시스템에서 생성한 머신러닝 파이프라인을 탐색하고 비교하며 디버깅할 수 있도록 통합된 Jupyter Notebook 기반의 상호작용형 시각화 분석 도구이다. 이 도구는 복잡한 파이프라인 구조를 지원하며, 원핫 인코딩을 통해 프리미티브 사용 및 하이퍼파라미터를 시각화하고, 비교 뷰와 자동 분석을 제공하여 AutoML 평가 및 개발 워크플로우의 투명성과 사용성 향상에 기여한다.

ABSTRACT

In recent years, a wide variety of automated machine learning (AutoML) methods have been proposed to search and generate end-to-end learning pipelines. While these techniques facilitate the creation of models for real-world applications, given their black-box nature, the complexity of the underlying algorithms, and the large number of pipelines they derive, it is difficult for their developers to debug these systems. It is also challenging for machine learning experts to select an AutoML system that is well suited for a given problem or class of problems. In this paper, we present the PipelineProfiler, an interactive visualization tool that allows the exploration and comparison of the solution space of machine learning (ML) pipelines produced by AutoML systems. PipelineProfiler is integrated with Jupyter Notebook and can be used together with common data science tools to enable a rich set of analyses of the ML pipelines and provide insights about the algorithms that generated them. We demonstrate the utility of our tool through several use cases where PipelineProfiler is used to better understand and improve a real-world AutoML system. Furthermore, we validate our approach by presenting a detailed analysis of a think-aloud experiment with six data scientists who develop and evaluate AutoML tools.

연구 동기 및 목표

• 다양한 프리미티브와 하이퍼파라미터를 가진 대규모이고 다양한 파이프라인을 생성하는 복잡한 블랙박스 AutoML 시스템을 이해하고 디버깅하는 데 도전하는 것.
• 다양한 데이터셋과 성능 메트릭을 기준으로 여러 AutoML 시스템을 비교함으로써 체계적인 시스템 선택과 개선을 가능하게 하는 것.
• 파이프라인 생성 및 검색 전략에 대한 투명성과 통찰을 향상시키기 위해 데이터 과학자와 AutoML 개발자들이 상호작용 가능하고 스크립터블한 도구를 제공하는 것.
• 기존 데이터 과학 환경(예: Jupyter Notebook)과 원활하게 통합되어 AutoML 출력물에 대한 재현 가능하고 확장 가능한 분석을 가능하게 하는 것.
• 전문가 사용성 테스트와 실제 사례를 통한 유효성 검증을 통해 도구의 실용성을 입증하고, 실질적인 AutoML 개발 및 평가 과정에서의 가치를 입증하는 것.

제안 방법

• 일줄 명령어를 통해 Jupyter Notebook에 통합되어 데이터 과학자가 익숙한 환경에서 AutoML 파이프라인 컬렉션을 상호작용적으로 탐색할 수 있도록 하는 것.
• 파이프라인 매트릭스 시각화를 활용해 프리미티브 사용을 파이프라인 간에 표시하고, 각 파이프라인에 대해 원핫 인코딩된 하이퍼파라미터와 점수를 제공하는 것.
• 상위 성능 파이프라인들을 옆으로 비교할 수 있는 파이프라인 비교 뷰를 도입하여 구조적 및 성능 분석을 지원하는 것.
• 프리미티브 기여도 뷰를 제공하여 프리미티브 사용과 파이프라인 성능 메트릭(예: F1 스코어) 간의 상관관계를 계산하고 시각화하는 것.
• 필터링, 정렬, 파이프라인 서브셋 내보내기 기능을 지원하여 타겟팅된 분석과 재현 가능한 워크플로우를 가능하게 하는 것.
• 스크립터블 상호작용을 통한 자동 분석을 지원하여 사용자가 파이프라인 컬렉션에 맞춤형 쿼리와 시각화를 적용할 수 있도록 하는 것.

실험 결과

연구 질문

• RQ1 어떻게 시각화 분석 기법이 AutoML 시스템이 생성한 복잡하고 다중 프리미티브를 포함한 머신러닝 파이프라인의 탐색과 디버깅을 지원할 수 있는가?
• RQ2 동일한 데이터셋에 대해 여러 AutoML 시스템 간의 비교 분석을 위한 통합된 시각화 프레임워크가 얼마나 효과적으로 작용할 수 있는가?
• RQ3 실제 AutoML 개발 및 평가 작업에서 데이터 과학자들이 PipelineProfiler와 같은 도구의 사용성과 실용성에 대해 어떻게 평가하는가?
• RQ4 다양한 파이프라인 구조에서 프리미티브 사용과 파이프라인 성능 메트릭 간의 관계를 시각화함으로써 어떤 통찰을 도출할 수 있는가?
• RQ5 시각화 분석 도구는 기존 데이터 과학 워크플로우에 어떻게 통합되어 재현 가능성과 통찰 생성을 향상시킬 수 있는가?

주요 결과

• PipelineProfiler는 평균 시스템 사용성 점수(SUS)가 82.92 ± 12.37를 기록하여 전문가 사용자들 사이에서 높은 사용성과 수용도를 보였다.
• 사고를 동시에 말하는 연구에서 6명의 데이터 과학자들이 PipelineProfiler를 통해 더 깊은 디버깅 통찰을 확보했으며, AutoML 검색 전략의 역공학적 분석까지 가능했다고 보고했다.
• 참가자들은 도구가 Jupyter Notebook에 통합되어 있다는 점을 주요 장점으로 언급했으며, 이는 즉각적인 사용과 고도의 스크립팅 기반 맞춤형 분석을 모두 가능하게 했다.
• 프리미티브 기여도 뷰는 의미 있는 상관관계를 성공적으로 식별했으며, 예를 들어 Deep Feature Synthesis가 F1 스코어와 가장 높은 상관관계를 보여, 효과적인 파이프라인 구성 요소를 식별하는 데 가치가 있음을 입증했다.
• 전문가들은 도구의 도입에 강한 관심을 보였으며, 향후 개선 사항으로 자동 데이터 수집을 위한 API 통합을 제안했다.
• 도구는 DAG 및 다중 추정기 파이프라인을 포함한 복잡한 파이프라인 구조를 효과적으로 지원하여, 이전 도구들이 고정된 순차적 템플릿만 지원했던 한계를 극복했다.