[논문 리뷰] Auto-Pipeline: Synthesize Data Pipelines By-Target Using Reinforcement Learning and Search.

Junwen Yang, Yeye He외 1명|arXiv (Cornell University)|2021. 06. 25.

Software Engineering Research인용 수 1

한 줄 요약

이 논문은 문자열 변환과 테이블 연산을 조합하는 복잡한 다단계 데이터 파이프라인을 새로운 by-target 파ragidm을 사용해 자동으로 합성하는 Auto-Pipeline 시스템을 소개한다. 기능적 의존성과 키와 같은 암묵적 스키마 제약 조건을 활용하여 강화 학습과 검색 기법을 적용함으로써, 실세계 GitHub 파이프라인에서 평균 10–20초 내에 60–70%의 성공률을 달성한다.

ABSTRACT

Recent work has made significant progress in helping users to automate single data preparation steps, such as string-transformations and table-manipulation operators (e.g., Join, GroupBy, Pivot, etc.). We in this work propose to automate multiple such steps end-to-end, by synthesizing complex data pipelines with both string transformations and table-manipulation operators. We propose a novel by-target paradigm that allows users to easily specify the desired pipeline, which is a significant departure from the traditional by-example paradigm. Using by-target, users would provide input tables (e.g., csv or json files), and point us to a target (e.g., an existing database table or BI dashboard) to demonstrate how the output from the desired pipeline would schematically look like. While the problem is seemingly underspecified, our unique insight is that implicit table constraints such as FDs and keys can be exploited to significantly constrain the space to make the problem tractable. We develop an Auto-Pipeline system that learns to synthesize pipelines using reinforcement learning and search. Experiments on large numbers of real pipelines crawled from GitHub suggest that Auto-Pipeline can successfully synthesize 60-70% of these complex pipelines (up to 10 steps) in 10-20 seconds on average.

연구 동기 및 목표

• 다단계 변환 단계를 포함한 문자열 연산과 테이블 조작을 모두 수반하는 종단 간 데이터 파이프라인 자동 합성의 과제를 해결하기 위해.
• 사용자가 예시 입력을 제공하는 대신 목표 출력 스키마를 지정하는 by-target 파ragidm을 도입하여 사용자 작업량과 모호성을 줄이기 위해.
• 기능적 의존성과 키와 같은 암묵적 스키마 제약 조건을 활용하여 검색 공간을 크게 줄이고 파이프라인 합성을 가능하게 하기 위해.
• 실세계 환경에서 효율적이고 정확하게 최대 10단계까지의 복잡한 다단계 파이프라인을 학습하고 합성할 수 있는 시스템을 개발하기 위해.

제안 방법

• 사용자가 입력 테이블을 제공하고 목표 출력 테이블 또는 대시보드를 지정하여 목표 스키마를 정의하는 by-target 사양 방식을 사용한다.
• 기능적 의존성(FDs)과 키와 같은 암묵적 스키마 제약 조건을 활용하여 검색 공간을 줄이고 합성을 안내한다.
• 강화 학습 에이전트가 스키마 및 데이터 정확도를 기반으로 한 보상 함수를 사용하여 가능한 파이프라인 공간을 탐색한다.
• 샘플 효율성과 수렴 속도를 향상시키기 위해 검색 기법을 강화 학습 정책과 통합한다.
• 신경망 정책이 입력 테이블을 목표 스키마로 향해 변환할 수 있는 연산과 파rameter를 선택함으로써 파이프라인 합성 과정을 안내한다.

실험 결과

연구 질문

• RQ1 예시 입력을 요구하지 않고도 by-target 파ragidm이 복잡한 데이터 파이프라인의 합성을 효과적으로 이끌 수 있는가?
• RQ2 기능적 의존성과 키와 같은 암묵적 스키마 제약 조건이 파이프라인 합성의 검색 공간을 얼마나 줄일 수 있는가?
• RQ3 강화 학습과 검색의 조합이 실세계 GitHub 데이터셋에서 다단계 파이프라인 합성에 얼마나 효과적인가?
• RQ4 제안된 방법을 사용해 최대 10개의 연산을 포함하는 파이프라인을 합성할 평균 시간과 성공률은 얼마인가?

주요 결과

• Auto-Pipeline는 GitHub에서 추출한 실제 복잡한 데이터 파이프라인(최대 10단계)의 60–70%를 성공적으로 합성한다.
• 시스템은 평균적으로 파이프라인당 10–20초 내에 합성을 완료하여 높은 효율성을 보였다.
• 기능적 의존성과 키와 같은 암묵적 스키마 제약 조건의 사용은 검색 공간을 크게 줄여 합성을 가능하게 하였다.
• by-target 파ragidm은 전통적인 by-example 접근 방식에 비해 사용자 입력 부담을 줄이고 사양의 명확성을 향상시켜 더 우수한 성능을 발휘하였다.