[논문 리뷰] Neural Networks for Modeling Source Code Edits

Rui Zhao, David Bieber외 2명|arXiv (Cornell University)|2019. 04. 04.

Software Engineering Research참고 문헌 22인용 수 12

한 줄 요약

이 논문은 개발자 의도를 추론하기 위해 소스 코드 편집을 순차적 예측으로 모델링하며, 편집 위치와 내용을 모두 예측하는 두 헤드의 어텐션 기반 신경망과 포인터 네트워크를 사용한다. 이 모델은 구글 코드베이스의 실제 미세한 편집 시퀀스에서 높은 정확도와 확장성을 달성하여 의도 인식 개발자 도구의 실현 가능성을 입증한다.

ABSTRACT

Programming languages are emerging as a challenging and interesting domain for machine learning. A core task, which has received significant attention in recent years, is building generative models of source code. However, to our knowledge, previous generative models have always been framed in terms of generating static snapshots of code. In this work, we instead treat source code as a dynamic object and tackle the problem of modeling the edits that software developers make to source code files. This requires extracting intent from previous edits and leveraging it to generate subsequent edits. We develop several neural networks and use synthetic data to test their ability to learn challenging edit patterns that require strong generalization. We then collect and train our models on a large-scale dataset of Google source code, consisting of millions of fine-grained edits from thousands of Python developers. From the modeling perspective, our main conclusion is that a new composition of attentional and pointer network components provides the best overall performance and scalability. From the application perspective, our results provide preliminary evidence of the feasibility of developing tools that learn to predict future edits.

연구 동기 및 목표

• 과거 편집 시퀀스를 바탕으로 미래의 코드 편집을 예측하는 문제를 정형화하며, 코드를 정적인 스냅샷이 아닌 동적인 과정으로 간주한다.
• 역사적 편집에서 편집 패턴을 일반화할 수 있는 신경망 아키텍처를 개발하여 향후 변경의 위치와 내용을 모두 포착한다.
• 일반화 능력을 시험하기 위해 합성 데이터에서 모델 성능을 평가하고, 실제 구글 코드베이스에서의 데이터를 사용하여 확장성과 실용적 실현 가능성을 평가한다.
• 편집 시퀀스의 명시적 표현과 암시적 표현 간의 상호 교환 관계를 정확도와 계산 효율성 측면에서 탐색한다.

제안 방법

• 논문은 초기 코드 상태와 이후 편집을 (위치, 내용) 쌍으로 저장하는 암시적 표현 방식을 도입하여 확장성을 향상시킨다.
• 편집 위치를 예측하는 헤드와 포인터 네트워크를 사용해 편집 내용을 생성하는 헤드를 가진 두 헤드의 어텐션 기반 모델을 제안한다.
• 자기 어텐션 메커니즘을 사용하여 편집 이력의 인코딩을 수행하고, 편집 시퀀스의 장거리 의존성을 포착한다.
• 비교를 위해 계산 비용이 높지만 강력한 히에라르키컬 순환 포인터 네트워크를 강력한 기준 모델로 사용한다.
• 특정 모델 기능을 평가하기 위해 합성 데이터셋을 구성한다. 예를 들어, 편집 패턴에서 의도를 인식하는 능력을 시험한다.
• 모델는 실제 구글의 파이썬 코드베이스에서 유래한 100만 건 이상의 미세한 편집으로 구성된 대규모 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 동일한 코드 상태가 서로 다른 편집 이력으로부터 유도될 수 있을 때, 신경망이 과거 편집 시퀀스를 분석하여 미래의 코드 편집을 효과적으로 예측할 수 있는가?
• RQ2 명시적(전체 상태 스냅샷) 표현 방식과 암시적(디프 유사 편집) 표현 방식 간의 차이는 모델의 확장성과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 어떤 아키텍처 구성 요소(예: 어텐션, 포인터 네트워크)가 정확도, 신뢰도 캘리브레이션, 계산 효율성 간의 최적의 균형을 이룰 수 있는가?
• RQ4 모델이 표면적인 변경을 넘어서 개발자 의도를 이해할 수 있는 새로운 편집 패턴으로 일반화할 수 있는 정도는 어느 정도인가?
• RQ5 이러한 모델은 실세계의 대규모 코드베이스에 적용되어 실용적인 개발자 도구를 가능하게 할 수 있는가?

주요 결과

• 포인터 네트워크 헤드를 갖춘 두 헤드의 어텐션 기반 모델이 실제 편집 시퀀스에서 다른 아키텍처보다 정확도와 확장성 측면에서 뛰어나다.
• 모델는 잘 校정된 신뢰도 추정치를 제공하여 예측 불확실성의 정량화가 신뢰할 수 있음을 시사한다.
• 명시적 표현은 높은 정확도를 보이지만 확장성은 열 劣하다. 반면 암시적 표현은 확장성은 좋지만 적절한 아키텍처 설계 없이 일반화에 어려움을 겪는다.
• 합성 데이터 실험을 통해 모델이 복잡한 편집 패턴(예: 편집 이력에 따라 함수 인수를 추가하거나 제거하는 것을 구분하는 것)을 인식할 수 있는 강력한 일반화 능력을 갖추고 있음을 확인했다.
• 결과는 편집 시퀀스에서 훈련된 모델가 개발자 의도를 학습할 수 있으며, 향후 지능형 코드 보조 도구를 가능하게 할 수 있다는 초기 증거를 제공한다.