[논문 리뷰] JuICe: A Large Scale Distantly Supervised Dataset for Open Domain Context-based Code Generation

Rajas Agashe, Srinivasan Iyer외 1명|arXiv (Cornell University)|2019. 10. 05.

Software Engineering Research참고 문헌 33인용 수 6

한 줄 요약

이 논문은 150만 개의 Jupyter 노트북 예제로 구성된 대규모, 원거리 지도 학습 데이터셋인 JuICe를 소개한다. 이는 개방형 도메인, 맥락 기반 코드 생성을 위한 것으로, 고급 품질의 평가를 위해 정제된 nbgrader 노트북을 활용한다. 실험 결과, 맥락 길이와 학습 데이터 크기 모두 모델 성능에 크게 기여하며, 원거리 지도 학습으로부터도 뚜렷한 성능 향상이 나타나지만, 현재 모델들은 복잡한 추론과 장기 맥락 의존성 문제를 여전히 해결하기 어려운 것으로 나타났다.

ABSTRACT

Interactive programming with interleaved code snippet cells and natural language markdown is recently gaining popularity in the form of Jupyter notebooks, which accelerate prototyping and collaboration. To study code generation conditioned on a long context history, we present JuICe, a corpus of 1.5 million examples with a curated test set of 3.7K instances based on online programming assignments. Compared with existing contextual code generation datasets, JuICe provides refined human-curated data, open-domain code, and an order of magnitude more training data. Using JuICe, we train models for two tasks: (1) generation of the API call sequence in a code cell, and (2) full code cell generation, both conditioned on the NL-Code history up to a particular code cell. Experiments using current baseline code generation models show that both context and distant supervision aid in generation, and that the dataset is challenging for current systems.

연구 동기 및 목표

• 인터랙티브 컴퓨팅 환경(예: Jupyter 노트북)에서의 개방형 도메인, 맥락 기반 코드 생성을 위한 대규모 고품질 데이터셋의 부족 문제를 해결하기 위해.
• 기존 데이터셋이 잘 지원하지 않는, 혼합된 자연어와 코드 기록을 기반으로 한 코드 생성 연구를 가능하게 하기 위해.
• 실제 프로그래밍 과제에서 유래한 정제된 테스트 세트를 제공하여 코드 생성 모델의 신뢰성 있는 평가를 보장하기 위해.
• 맥락 길이와 학습 데이터 크기가 두 가지 코드 생성 작업(즉, API 시퀀스 생성 및 전체 코드 생성)의 모델 성능에 미치는 영향을 조사하기 위해.

제안 방법

• JuICe 데이터셋은 659만 개의 공개된 GitHub Jupyter 노트북에서 유래하였으며, 목표 코드 셀은 이전의 자연어 및 코드 맥락과 쌍으로 구성된다.
• 13,905개의 nbgrader 노트북에서 유래한 3,718개의 인스턴스로 구성된 정제된 테스트 세트를 추출하였으며, 이는 강사가 만든 과제로, 학생의 해답을 위한 빈 코드 셀이 포함되어 있다.
• 두 가지 작업을 정의하였다: (1) 목표를 달성하기 위해 필요한 API 호출 시퀀스를 생성하고, (2) 완전하고 실행 가능한 코드 셀을 생성한다.
• 다양한 맥락 길이와 학습 데이터 크기를 사용하여, LSTMs 및 리트리ieval 베이스라인을 포함한 신경 시퀀스-투-시퀀스 모델을 훈련하고 평가하였다.
• 정확도 측정 지표로 정확 일치(EM), BLEU, 정밀도 및 재현율을 사용하였으며, 인간 평가를 통해 성능 상한선을 추정하였다.
• 50개의 모델 예측에 대해 오류 분석을 수행하여, 의도를 잘못 해석하거나 인자를 누락시키거나 장기 맥락에 대한 추론에 실패하는 등의 실패 유형을 파악하였다.

실험 결과

연구 질문

• RQ1 맥락 기반 코드 생성에서 학습 데이터 양을 늘일수록 성능에 어떤 영향을 미치는가?
• RQ2 이전 자연어 및 코드 맥락의 더 긴 시퀀스를 통합할 경우 코드 생성 정확도가 얼마나 향상되는가?
• RQ3 현재 신경 모델은 리트리ieval 베이스라인 대비 개방형 도메인, 인터랙티브 코드 생성에서 얼마나 잘 수행되는가?
• RQ4 장기 맥락 기록을 기반으로 코드를 생성할 때 현재 모델의 주요 실패 유형은 무엇인가?
• RQ5 인간 평가자들이 추정한 성능 상한선은 이 설정에서 코드 생성의 최고 성능 수준이 어느 정도인가?

주요 결과

• 모델 성능은 모두 두 가지 작업(코드 생성 및 API 시퀀스 생성)에서 학습 데이터 양이 많아질수록 크게 향상되며, 약 20만 개 예제에서 성능이 정점에 도달한 후 정체된다.
• 맥락 길이를 늘일수록 성능이 향상되나, 이는 이전 3개의 셀까지로 제한되며, 이후에는 장기 시퀀스에 대한 추론 어려움으로 인해 성능이 정체된다.
• 가장 높은 성능을 보인 LSTM 모델은 150만 개의 예제와 맥락 길이 3으로 훈련되었으며, 전체 코드 생성 테스트 세트에서 23% EM과 60% BLEU를 기록하였다.
• 리트리ieval 베이스라인은 전체 맥락에 접근할 수 있음에도 불구하고, 신경 모델보다 2% 이상 BLEU 성능이 열 劣하므로, 정확한 코드를 생성하기 위해서는 리트리ieval을 초월한 추론 능력이 필요함을 시사한다.
• 인간의 성능은 코드 생성에서 BLEU 60%, EM 23%로 추정되었으며, 현재 모델보다 향상 여지가 크다는 것을 시사한다.
• 모델 오류의 30% 이상이 자연어 지시의 핵심 의도를 잘못 이해함에 기인하여, 맥락 기반 추론과 의미 이해의 어려움이 드러난다.