[논문 리뷰] ProvDB: A System for Lifecycle Management of Collaborative Analysis Workflows

Hui Miao, Amit Chavan외 1명|arXiv (Cornell University)|2016. 10. 17.

Scientific Computing and Data Management참고 문헌 29인용 수 4

한 줄 요약

ProvDB는 Git과 Neo4j 기반으로 구축된 증명 가능성 및 메타데이터 관리 시스템으로, 통합적이고 쿼리 가능한 방식으로 세밀한 증명 가능성과 메타데이터를 캡처하고 분석함으로써 공동 작업 기반 데이터 과학 워크플로우의 라이프사이클 관리를 가능하게 한다. 버전 라인리더십 추적, 워크플로우 증명 가능성, 파이프라인 추론, 지속적인 모니터링을 지원하여 디버깅 시간을 크게 단축하고 데이터 과학 워크플로우의 재현 가능성과 내부 분석 능력을 향상시킨다.

ABSTRACT

As data-driven methods are becoming pervasive in a wide variety of disciplines, there is an urgent need to develop scalable and sustainable tools to simplify the process of data science, to make it easier to keep track of the analyses being performed and datasets being generated, and to enable introspection of the workflows. In this paper, we describe our vision of a unified provenance and metadata management system to support lifecycle management of complex collaborative data science workflows. We argue that a large amount of information about the analysis processes and data artifacts can, and should be, captured in a semi-passive manner; and we show that querying and analyzing this information can not only simplify bookkeeping and debugging tasks for data analysts but can also enable a rich new set of capabilities like identifying flaws in the data science process itself. It can also significantly reduce the time spent in fixing post-deployment problems through automated analysis and monitoring. We have implemented an initial prototype of our system, called ProvDB, on top of git (a version control system) and Neo4j (a graph database), and we describe its key features and capabilities.

연구 동기 및 목표

• 협업적이고 임시적인 데이터 과학 워크플로우 전반에서 증명 가능성과 메타데이터를 통합하고 확장 가능한 방식으로 관리할 수 있는 체계의 부족을 해결하기 위해.
• 진행 중인 데이터 과학 프로젝트에서 데이터셋, 스크립트, 파라미터, 종속성의 수동 기록 및 실수 유발 기록 방식을 줄이기 위해.
• 반응형으로, 스키마가 나중에 정의되는 방식으로 세밀한 증명 가능성을 캡처하고 분석함으로써 내부 분석, 디버깅, 이상 탐지 기능을 제공하기 위해.
• 풍부하고 쿼리 가능한 라인리더십과 종속성 정보를 제공함으로써 재현 가능성, 투명성, 윤리적인 데이터 과학을 지원하기 위해.
• 사용자가 워크플로우와 파생된 아티팩트를 브라우징, 비교, 재사용할 수 있도록 하여 협업과 지식 공유를 단순화하기 위해.

제안 방법

• 핵심 증명 가능성 및 아티팩트 관계를 위한 고정된 기본 스키마와 함께, 임의의 반구조화된 메타데이터(예: JSON 형식)를 저장하기 위해 스키마가 나중에 정의되는 방식을 사용한다.
• 데이터, 스크립트, 결과물의 버전 제어를 위해 Git을 활용하고, 아티팩트, 유도 관계, 종속성을 증명 가능성 그래프로 모델링하기 위해 Neo4j를 그래프 데이터베이스로 사용한다.
• 분석 결과물과 설정 파일에서 속성(예: 학습 손실, 정확도, 하이퍼파라미터)을 자동으로 추출하고 저장하기 위해 인게이스터(ingestors)를 활용한다.
• Neo4j의 Cypher를 사용한 쿼리 기반 내부 분석을 통해 아티팩트를 비교하고 유도 경로를 추적하며 버전 간 변화를 분석한다.
• 웹 기반 GUI를 제공하여 워크플로우 브라우징, 아티팩트의 차이점 분석, 내장된 차트 도구를 활용한 속성 변화 시각화를 지원한다.
• 지속적인 쿼리 실행을 통해 데이터 성질이나 모델 성능의 이상 변화를 감지하기 위해 이상 탐지 및 경고 기능을 갖춘 모니터링 및 알림 서브시스템을 구현한다.

실험 결과

연구 질문

• RQ1 다양하고 비정형적인 데이터 과학 워크플로우에서 증명 가능성과 메타데이터를 확장 가능하고 유연한 방식으로 캡처하고 통합할 수 있는 방법은 무엇인가?
• RQ2 반응형으로, 반구조화된 증명 가능성 캡처 방식이 협업적 데이터 과학 환경에서 수동 기록의 부담을 얼마나 줄이고 디버깅 효율성을 향상시킬 수 있는가?
• RQ3 통합된 증명 가능성 분석을 통해 머신러닝 파이프라인에서 데이터 누출이나 모델 드프트와 같은 결함을 조기에 탐지할 수 있는가?
• RQ4 증명 가능성 데이터를 어떻게 활용하여 팀 간에 재사용 가능하고 감사 가능하며 재현 가능한 데이터 과학 워크플로우를 지원할 수 있는가?
• RQ5 쿼리 가능한 증명 가능성 그래프를 통해 복잡하고 변화가 많은 데이터 과학 파이프라인에 대해 효과적인 추론을 수행하기 위한 메커니즘은 무엇인가?

주요 결과

• ProvDB는 증명 가능성 쿼리를 통해 모델 성능과 하이퍼파라미터 설정을 자동으로 비교함으로써 디버깅 및 기록 작업에 소요되는 시간을 크게 줄였다.
• 시스템은 내장된 차트 도구와 비교 분석 도구를 통해 버전 간 모델 학습 동작의 차이(예: 손실 및 정확도 곡선)를 시각적으로 검토할 수 있도록 한다.
• 증명 가능성을 캡처하고 분석함으로써, 최종 수렴은 하지만 초반 학습 성능이 열악한 등의 미묘한 문제를 탐지할 수 있었으며, 이는 하이퍼파라미터 잘못 설정의 징후일 수 있다.
• 프로토타입은 기능이 제한된 상태에서도 증명 가능성을 기반으로 한 내부 분석이 복잡한 워크플로우(예: 컴퓨터 비전 작업에서 41개의 딥 네트워크 학습) 이해를 단순화시킨다는 점을 보여주었다.
• Git과 Neo4j의 통합은 버전 기반 라인리더십 추적과 아티팩트 종속성에 대한 효율적인 쿼리 기능을 제공하여 재현 가능성과 파이프라인 재사용을 지원한다.
• 모니터링 서브시스템은 스냅샷 간 핵심 속성의 변화를 추적함으로써, 배포된 모델에서 분포 변화나 성능 저하를 조기에 탐지할 수 있도록 한다.