[논문 리뷰] Learning to Mine Aligned Code and Natural Language Pairs from Stack Overflow

Pengcheng Yin, Bowen Deng외 3명|arXiv (Cornell University)|2018. 05. 23.

Software Engineering Research참고 문헌 42인용 수 22

한 줄 요약

이 논문은 수작업으로 만든 구조적 특징과 신경망 기반의 대응 특징을 조합하여 Stack Overflow에서 고품질의 세밀한 수준의 자연어(NL)와 코드 쌍을 추출하는 새로운 방법을 제안한다. 레이블이 부여된 예시의 소량의 데이터로 훈련된 이 방법은 이전의 히우리스틱 기반 접근 방식에 비해 커버리지와 정확도를 크게 향상시키며, 한 언어에서 다른 언어로의 제로샷 전이 성능이 뛰어나, 코드 생성, 검색, 요약 작업을 위한 확장 가능한 고품질의 데이터 수집을 가능하게 한다.

ABSTRACT

For tasks like code synthesis from natural language, code retrieval, and code summarization, data-driven models have shown great promise. However, creating these models require parallel data between natural language (NL) and code with fine-grained alignments. Stack Overflow (SO) is a promising source to create such a data set: the questions are diverse and most of them have corresponding answers with high-quality code snippets. However, existing heuristic methods (e.g., pairing the title of a post with the code in the accepted answer) are limited both in their coverage and the correctness of the NL-code pairs obtained. In this paper, we propose a novel method to mine high-quality aligned data from SO using two sets of features: hand-crafted features considering the structure of the extracted snippets, and correspondence features obtained by training a probabilistic model to capture the correlation between NL and code using neural networks. These features are fed into a classifier that determines the quality of mined NL-code pairs. Experiments using Python and Java as test beds show that the proposed method greatly expands coverage and accuracy over existing mining methods, even when using only a small number of labeled examples. Further, we find that reasonable results are achieved even when training the classifier on one language and testing on another, showing promise for scaling NL-code mining to a wide variety of programming languages beyond those for which we are able to annotate data.

연구 동기 및 목표

• 자연어와 코드 간의 고품질이며 세밀한 수준의 평행 데이터 부족 문제를 해결하기 위해, 이는 코드 생성 및 검색 분야의 데이터 기반 모델을 훈련하는 데 필수적이다.
• 기존의 히우리스틱 방법의 한계를 극복하기 위해, 수락된 답변이나 전체 코드 블록에만 의존하는 방식은 추출된 NL-코드 쌍의 커버리지가 낮고 노이즈가 많다는 점을 개선한다.
• 최소한의 레이블이 부여된 데이터로도, Stack Overflow에서 서브-코드 블록 수준의 정렬된 NL-코드 쌍을 효율적이고 정확하게 추출할 수 있는 확장 가능한 방법을 개발한다.
• 한 프로그래밍 언어에서 훈련하고 다른 언어에서 테스트함으로써 제로샷 전이 학습을 가능하게 하여, 여러 언어에 걸쳐 광범위한 수동 애너테이션의 필요성을 줄인다.

제안 방법

• 이 방법은 두 가지 유형의 특징을 조합하는 분류기를 사용한다: 코드 스니펫에서 유도된 수작업으로 만든 구조적 특징(예: 구문 패턴, 변수 사용, 제어 흐름 구조)과 자연어 질의와 코드 간의 정렬을 모델링하기 위해 훈련된 신경망에서 유도된 학습된 대응 특징.
• 신경망 구성 요소는 국소적 및 전역적 의존성을 모델링함으로써 자연어 의도와 코드 간의 의미적 대응을 학습하여, 작은 블록이거나 더 큰 블록 내에 포함된 경우에도 관련 코드 조각을 탐지할 수 있도록 한다.
• 소량의 수동 애너테이션된 NL-코드 쌍 데이터셋을 사용하여 분류기를 훈련함으로써, 더 큰 수의 애너테이션되지 않은 Stack Overflow 게시물로 일반화할 수 있도록 한다.
• 분류기는 주어진 자연어 스니펫과 코드 조각이 정렬되어 있는지를 예측하기 위해 엔드 투 엔드로 훈련되며, 질문에 답하는 세밀한 의미적 관련 코드 세그먼트를 식별하는 것이 목표이다.
• 이 방법은 한 언어(예: Python)에서 훈련하고 다른 언어(예: Java)에서 평가함으로써 제로샷 전이를 지원하며, 추가적인 재훈련 없이도 언어 간의 일반화 성능을 입증한다.
• 추출된 쌍의 평가에는 자동 메트릭과 인간 평가를 모두 활용하여, 추출된 데이터의 정밀도와 재현율이 높다는 것을 보장한다.

실험 결과

연구 질문

• RQ1 히우리스틱 방법(예: 수락된 답변 또는 전체 코드 블록에 의존)에 비해 하이브리드 특징 기반 분류기가 NL-코드 쌍의 정확도와 커버리지를 향상시키는가?
• RQ2 특히 관련 코드가 작거나 더 큰 블록 내에 포함된 경우, 자연어 질문과 코드 스니펫 간의 서브-코드 블록 수준의 정렬을 이 방법이 얼마나 효과적으로 식별하는가?
• RQ3 레이블이 부여된 데이터가 추가로 없이, Python과 같은 한 언어에서 훈련된 모델이 Java와 같은 다른 언어로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 특히 레이블이 부여된 예시가 소량일 경우, 레이블 데이터의 양이 변할 때 성능이 어떻게 변화하는가?
• RQ5 수작업으로 만든 구조적 특징과 학습된 신경망 기반 대응 특징을 결합함으로써, 추출된 NL-코드 쌍의 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 이전의 히우리스틱 방법에 비해 정밀도와 재현율이 뛰어나며, 특히 전체 코드 블록이 아닌 세밀한 관련 코드 조각을 식별하는 데서 두드러진 성능 향상을 보였다.
• 단지 수백 개의 레이블이 부여된 예시로도 훈련된 모델이 잘 일반화되어, 최소한의 감독 하에 뛰어난 성능을 보였다.
• 제로샷 다국어 환경에서도 높은 품질의 결과를 도출하였으며, Python 데이터로 훈련된 모델이 Java에 대해 정확한 NL-코드 쌍을 효과적으로 추출할 수 있었고, 성능 저하도 최소한이었다.
• 인간 평가를 통해 추출된 쌍이 높은 관련성과 의미적 정렬을 보였으며, 질문의 의도를 잘 반영하는 정확하고 유용한 코드 스니펫의 비율이 높았다.
• 신경망 기반 대응 특징과 수작업으로 만든 구조적 특징을 통합함으로써, 단독으로 어떤 특징을 사용하는 것보다 훨씬 뛰어난 추출 품질 향상을 이룩했다.
• 이 방법은 전체 Stack Overflow 데이터에 대해 효과적으로 스케일업되어, 향후 NLP 및 코드 생성 모델 훈련에 적합한 대규모 고품질 평행 데이터셋 구축을 가능하게 하였다.