[논문 리뷰] Training and Evaluating a Jupyter Notebook Data Science Assistant

Shubham Chandel, Colin B. Clement외 2명|arXiv (Cornell University)|2022. 01. 30.

Software Engineering Research인용 수 20

한 줄 요약

본 논문은 JuPyT5를 공개 Jupyter 노트북에서 학습시키고 실행 가능한 데이터 사이언스 문제 벤치마크인 DSP를 도입하여 JuPyT5가 100번 시도에서 DSP 과제의 최대 77.5%를 해결하며, 훈련 전략, 데이터 구성, HumanEval/MBPP에 대한 평가를 분석한다.

ABSTRACT

We study the feasibility of a Data Science assistant powered by a sequence-to-sequence transformer by training a new model JuPyT5 on all publicly available Jupyter Notebook GitHub repositories and developing a new metric: Data Science Problems (DSP). DSP is a collection of 1119 problems curated from 306 pedagogical notebooks with 92 dataset dependencies, natural language and Markdown problem descriptions, and assert-based unit tests. These notebooks were designed to test university students' mastery of various Python implementations of Math and Data Science, and we now leverage them to study the ability of JuPyT5 to understand and pass the tests. We analyze the content of DSP, validate its quality, and we find that given 100 sampling attempts JuPyT5 is able to solve 77.5\% of the DSP problems. We further present various ablation and statistical analyses and compare DSP to other recent natural language to code benchmarks.

연구 동기 및 목표

• 작업 기반 문제로 평가되는 교육적이고 데이터 사이언스 지향의 코드 생성 어시스턴트의 필요성을 제고한다.
• 참조 테스트가 포함된 대형 실행 가능한 노트북 기반 데이터 사이언스 문제 벤치마크 DSP를 만든다.
• 다양한 노트북 데이터에 대해 셀 인필링(pretraining) 목표로 JuPyT5를 학습시킨다.
• 훈련 데이터 구성과 컨텍스트 크기가 문제 해결 성능에 미치는 영향을 평가한다.
• DSP 결과를 기존 코드 작성 벤치마크(HumanEval/MBPP)와 비교하고 한계 및 배포 고려사항을 분석한다.]
• method_numbers_start_included_here?
• method_only_translate_pad
• method를_번역해_입력

제안 방법

• Jupyter 노트북 셀에서 파생된 셀 인필링 목표를 사용하여 JuPyT5(350M 매개변수)를 학습시킨다.
• Markdown과 코드 콘텐츠 및 대상 유형을 구분하기 위해 제어 토큰을 사용한다(예: <markdown>, <code>, <function>, <class>, <import>).
• 문자화된 코딩 데이터의 영향 연구를 위해 Markdown 중심 부분집합 대 전체 데이터셋에서 사전 학습한다.
• 각 노트북 문제에서 솔루션 셀을 교체하고 단위 테스트를 실행하여 DSP로 평가한다; 여러 시도에서 pass@k를 측정한다.
• 표준 벤치마크를 사용해 DSP에서의 JuPyT5 성능을 HumanEval 및 MBPP와 비교한다.
• 성공에 대한 기여를 확인하기 위해 제거 실험(ablations)과 훈련 선택(컨텍스트 셀 C=1 대 C=3, 다음 채점 셀을 포함하는 셀 인필링)을 분석한다.

실험 결과

연구 질문

• RQ1 데이터 사이언스 지향 트랜스포머가 Jupyter 노트북에 내재된 실제 문제를 단위 테스트와 함께 효과적으로 해결할 수 있는가?
• RQ2 셀 인필링 사전 학습 목표가 DSP에서 기본 컨텍스트 모델링에 비해 문제 해결 능력을 향상시키는가?
• RQ3 데이터 구성(Markdown 중심 대 모든 노트북)과 미리보기 테스트 가시성(look-ahead test visibility)이 DSP 성능에 어떤 영향을 미치는가?
• RQ4 DSP에서 JuPyT5의 성능이 HumanEval 및 MBPP 같은 기존 코드 벤치마크와 어떻게 관련되는가?
• RQ5 교육 또는 비즈니스 환경에서 DSP 스타일 평가를 사용할 때 어떤 배포 고려사항이 제기되는가?

주요 결과

모델	pass@1	pass@10	pass@50	pass@100
C=1 Baseline	6.5%	16.5%	22.7%	25.3%
C=1 MD Focused	7.1%	17.3%	26.2%	27.8%
C=1 Cell Infilling	22.3%	53.5%	65.0%	67.9%
C=3 Baseline	11.2%	25.6%	34.4%	37.9%
C=3 MD Focused	11.2%	28.4%	40.6%	43.9%
C=3 Cell Infilling	33.4%	63.5%	73.9%	77.5%

• JuPyT5는 100번 샘플링 시도에서 DSP 문제의 77.5%를 해결했다.
• 다음 채점 셀의 가시성을 가진 셀 인필링은 큰 향상을 가져와 C=1에서 67.9% pass@100, C=3에서 77.5% pass@100을 달성했다.
• Markdown 중심 부분집합에서의 학습은 전체 데이터 학습에 비해 다소 이점을 제공한다.
• 컨텍스트 윈도우(C=3 대 C=1)는 k 전반에 걸쳐 일관된 개선을 제공하며, 다음 셀(테스트 가시성)을 포함할 때 특히 상승이 크다.
• JuPyT5는 MBPP에서 훨씬 큰 68B 매개변수 모델을 능가하고 Markdown으로 문서 문자열을 적응시킬 때 HumanEval에서 Codex 성능에 접근하지만, 일반적으로 Codex가 HumanEval에서 더 강력하며, 이는 형식화 민감성과 데이터 도메인 효과를 강조한다.