[논문 리뷰] SmartPaste: Learning to Adapt Source Code

Miltiadis Allamanis, Marc Brockschmidt|arXiv (Cornell University)|2017. 05. 22.

Web Data Mining and Analysis참고 문헌 16인용 수 14

한 줄 요약

SmartPaste는 변수 사용의 데이터 흐름 민감성 표현을 학습함으로써 과거에 붙인 코드 조각을 기존 코드에 적응시키는 새로운 구조적 예측 작업을 제안한다. 코드의 데이터 흐름과 실행 경로를 통해 변수 의미를 인코딩하는 딥 뉴럴 모델을 사용하여, 변수 이름 바꾸기 작업에서 58.6%의 정확도를 달성하며 프로그램 적응을 위한 의미 있는 변수 표현을 비지도 학습으로 효과적으로 학습함을 보여준다.

ABSTRACT

Deep Neural Networks have been shown to succeed at a range of natural language tasks such as machine translation and text summarization. While tasks on source code (ie, formal languages) have been considered recently, most work in this area does not attempt to capitalize on the unique opportunities offered by its known syntax and structure. In this work, we introduce SmartPaste, a first task that requires to use such information. The task is a variant of the program repair problem that requires to adapt a given (pasted) snippet of code to surrounding, existing source code. As first solutions, we design a set of deep neural models that learn to represent the context of each variable location and variable usage in a data flow-sensitive way. Our evaluation suggests that our models can learn to solve the SmartPaste task in many cases, achieving 58.6% accuracy, while learning meaningful representation of variable usages.

연구 동기 및 목표

• 붙인 코드 조각을 새로운 맥락에 맞게 적응시키는 데 도전하는 문제를 해결하기 위해, 변수 식별자가 주변 코드와 일치하도록 이름을 바꿔야 한다.
• 표면 수준의 토큰 시퀀스에만 의존하지 않고, 데이터 흐름 민감성 표현을 통해 변수 사용을 학습한다.
• 붙인 코드와 호스트 맥락 사이의 의미적 일치를 포착하는 새로운 구조적 예측 작업인 SmartPaste를 도입한다.
• 학습된 변수 임베딩을 통해 지능형 코드 완성, 버그 탐지, 코드 요약과 같은 실용적인 소프트웨어 공학 응용을 가능하게 한다.
• 정확한 프로그램 의미 구조 모델링이 데이터 및 모델 용량 요구 사항을 줄이고 코드 적응 작업 성능을 향상시킴을 입증한다.

제안 방법

• SmartPaste 작업은 구조적 예측 문제로 정의되며, 모델이 스니펫과 그 호스트 맥락 사이의 변수 정렬을 나타내는 그래프 구조를 예측한다.
• 제어 및 데이터 흐름 구조를 입력으로 사용하여 변수 사용을 데이터 흐름 민감성 방식으로 표현하는 다섯 가지 딥 뉴럴 네트워크 모델을 설계한다.
• 모델은 변수의 의미적 역할(예: 카운터, 파일명)과 사용 맥락(예: 파일명이 필요한 위치)을 예측함으로써 변수의 분산 표현을 학습한다.
• 대규모 실세계 C# 코드 480만 줄로 구성된 데이터셋에서 엔드 투 엔드로 훈련된다.
• 데이터 흐름 및 제어 의존성 정보를 담은 그래프 구조가 변수 관계와 제약 조건을 모델링하는 데 입력으로 사용된다.
• Word2Vec과 GLoVe에 영감을 받지만, 형식적인 프로그램 문법과 의미로 확장하여 비지도 학습을 통해 변수 사용 임베딩을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 데이터 흐름과 변수 사용 의미를 모델링함으로써 붙인 코드 조각을 새로운 맥락에 적응시키는 데 성공할 수 있는가?
• RQ2 순수한 문법 모델에 비해 데이터 흐름 및 실행 경로 정보는 변수 이름 바꾸기 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 비지도 학습을 통한 변수 표현 학습은 다양한 코드베이스에 일반화될 수 있으며, 코드 완성 또는 버그 탐지와 같은 후행 작업을 지원할 수 있는가?
• RQ4 상호의존적인 변수 이름 바꾸기 작업을 다룰 때, 구조적 예측 접근 방식은 자동 회귀 또는 토큰 수준 예측과 비교해 어떻게 성능을 내는가?
• RQ5 대규모 실세계 코드 환경에서 변수의 의미 표현을 학습하는 데 성능의 한계는 무엇인가?

주요 결과

• 가장 우수한 성능을 보인 모델은 SmartPaste 작업에서 58.6%의 정확도를 달성하며, 데이터 흐름 인식 표현이 변수 이름 바꾸기 성능을 크게 향상시킴을 입증한다.
• 학습된 표현은 카운터, 파일 경로, 데이터 소스와 같은 의미적 역할을 효과적으로 포착한다.
• 컴파일러, 라이브러리, 프레임워크를 포함한 다양한 코드베이스에서 일반화됨을 보이며, 실세계 C# 코드 4,824kLOC에서의 평가를 통해 이를 입증한다.
• 소스 코드에 내재된 구조적 정보를 활용함으로써 대규모 레이블 데이터와 복잡한 훈련 절차에 대한 의존도를 줄일 수 있다.
• 데이터 흐름을 무시하는 기준 모델에 비해 성능이 뛰어나 의미 구조가 프로그램 표현 학습에서 중요함을 확인한다.
• 학습된 임베딩은 변수 사용의 불일치를 식별함으로써 지능형 코드 완성 및 자동 버그 탐지와 같은 더 넓은 응용 분야 잠재력을 보여준다.