[논문 리뷰] Execution-based Evaluation for Data Science Code Generation Models

Junjie Huang, Chenglong Wang외 7명|arXiv (Cornell University)|2022. 11. 17.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 Jupyter 노트북에서 유래한 534개의 데이터 과학 문제로 구성된 ExeDS라는 새로운 평가 데이터셋을 소개한다. 이 데이터셋은 코드 생성 모델의 실행 기반 평가를 가능하게 한다. 실행 정확도와 표면형식 점수(BLEU, CodeBLEU 등) 간의 괴리를 입증함으로써, 데이터 과학 작업에서 기능적 코드 품질 평가에 실행 기반 메트릭이 더 신뢰할 만하다는 것을 보여준다.

ABSTRACT

Code generation models can benefit data scientists' productivity by automatically generating code from context and text descriptions. An important measure of the modeling progress is whether a model can generate code that can correctly execute to solve the task. However, due to the lack of an evaluation dataset that directly supports execution-based model evaluation, existing work relies on code surface form similarity metrics (e.g., BLEU, CodeBLEU) for model selection, which can be inaccurate. To remedy this, we introduce ExeDS, an evaluation dataset for execution evaluation for data science code generation tasks. ExeDS contains a set of 534 problems from Jupyter Notebooks, each consisting of code context, task description, reference program, and the desired execution output. With ExeDS, we evaluate the execution performance of five state-of-the-art code generation models that have achieved high surface-form evaluation scores. Our experiments show that models with high surface-form scores do not necessarily perform well on execution metrics, and execution-based metrics can better capture model code generation errors. Source code and data can be found at https://github.com/Jun-jie-Huang/ExeDS

연구 동기 및 목표

• 데이터 과학 코드 생성 모델에 대한 실행 기반 평가의 부족을 해결한다.
• BLEU 및 CodeBLEU와 같은 표면형식 메트릭이 기능적 정확도를 포착하지 못하는 한계를 규명한다.
• 코드 컨텍스트, 자연어 설명, 기준 코드, 기대 출력을 포함한 고품질의 실행 가능한 기준 데이터셋(ExeDS)을 제공한다.
• 실행 기반 메트릭을 사용해 최신 코드 생성 모델을 평가하여 표면형식 메트릭과 기능적 성능 간의 괴리를 드러낸다.
• 실행 기반 평가가 표면형식 메트릭이 놓치는 오류를 탐지할 수 있음을 입증함으로써, 향후 모델 개발을 안내한다.

제안 방법

• GitHub 리포지토리에서 데이터 의존성을 크롤링하고 재구성하여 Jupyter 노트북 셀의 입력 데이터를 복구한다.
• 런타임 오류가 발생한 노트북을 제거하고, 충분한 컨텍스트와 인간이 애너테이션한 자연어 설명을 가진 534개의 고품질 문제를 선별했다.
• 각 문제에 대해 기준 코드와 예상 실행 출력(데이터프레임 및 플롯과 같은 복잡한 구조 포함)을 수집했다.
• 실행 기반 메트릭을 사용해 ExeDS에서 다섯 개의 최신 코드 생성 모델을 평가하고, 표면형식 메트릭과 결과를 비교했다.
• 실행 실패 사례에 대한 정성적 오류 분석을 수행하여 예외 유형(예: 정의되지 않은 변수, API 오용 등)과 출력 오류(예: 잘못된, 누락되거나 과도한 출력 등)로 분류했다.
• 고 BLEU 점수와 함께 잘못된 실행 결과가 발생하는 사례 연구를 통해 표면형식 메트릭의 부적합성을 입증했다.

실험 결과

연구 질문

• RQ1 표면형식 메트릭 점수(예: BLEU, CodeBLEU)가 높을수록 데이터 과학 코드 생성에서 실행 정확도와 얼마나 관련이 있는가?
• RQ2 최신 코드 생성 모델이 ExeDS 기준 데이터셋을 사용해 실행 기반 평가를 받을 때 어떻게 성능을 내는가?
• RQ3 표면형식 메트릭을 통과하지만 실행에 실패하는 생성된 코드에서 가장 흔한 오류 유형은 무엇인가?
• RQ4 실행 기반 평가가 표면형식 메트릭이 놓친 기능적 오류를 탐지할 수 있는가?
• RQ5 정의되지 않은 변수, 스키마 오용 등 다양한 오류 유형이 데이터 과학 코드 생성에서 모델 신뢰도에 어떤 영향을 미치는가?

주요 결과

• 고 BLEU 및 CodeBLEU 점수를 가진 모델이 반드시 실행 정확한 코드를 생성하는 것은 아니다. 예를 들어, Codex는 낮은 BLEU 점수를 기록했지만 높은 실행 정확도를 보였다.
• 실행 실패의 45%는 정의되지 않은 변수 사용 때문이었으며, 이는 모델의 데이터 플로우 이해 능력 부족을 시사한다.
• 16%의 오류는 API 오용에서 비롯되었는데, 일반적으로 잘못된 메서드 호출이나 누락된 임포트 때문이었으며, API 추론의 과제를 드러낸다.
• 22%의 실패는 잘못된 데이터 스키마 처리에서 비롯되었는데, 이는 데이터프레임 컬럼 이름이나 구조를 잘못 해석했기 때문이다.
• 오류의 오직 8%만이 구문 오류에서 비롯되었으며, 이는 모델이 구문적으로 올바른 코드를 생성하지만 기능적으로는 실패한다는 것을 보여준다.
• 생성된 출력의 24%는 과도했으며, 이는 부분적으로 올바른 코드를 생성하더라도 모델이 요구된 것보다 더 많은 출력을 생성한다는 것을 시사한다.