[논문 리뷰] Learning to Represent Programs with Graphs

Miltiadis Allamanis, Marc Brockschmidt외 1명|arXiv (Cornell University)|2017. 11. 01.

Software Engineering Research인용 수 47

한 줄 요약

이 논문은 문법, 데이터 흐름, 타입 계층 구조를 통합한 구조적 그래프로 소스 코드를 표현하여 프로그램 이해를 향상시키는 방법을 제안한다. 게이트드 그래프 신경망(GGNNs)을 사용해 의미적 표현을 학습함으로써 VarNaming(32.9% 정확도)과 VarMisuse(85.5% 정확도)에서 순차 기반 모델보다 뛰어난 성능을 보였으며, RavenDB와 Roslyn과 같은 오픈소스 프로젝트에서 실제 버그를 탐지했다.

ABSTRACT

Learning tasks on source code (i.e., formal languages) have been considered recently, but most work has tried to transfer natural language methods and does not capitalize on the unique opportunities offered by code's known syntax. For example, long-range dependencies induced by using the same variable or function in distant locations are often not considered. We propose to use graphs to represent both the syntactic and semantic structure of code and use graph-based deep learning methods to learn to reason over program structures. In this work, we present how to construct graphs from source code and how to scale Gated Graph Neural Networks training to such large graphs. We evaluate our method on two tasks: VarNaming, in which a network attempts to predict the name of a variable given its usage, and VarMisuse, in which the network learns to reason about selecting the correct variable that should be used at a given program location. Our comparison to methods that use less structured program representations shows the advantages of modeling known structure, and suggests that our models learn to infer meaningful names and to solve the VarMisuse task in many cases. Additionally, our testing showed that VarMisuse identifies a number of bugs in mature open-source projects.

연구 동기 및 목표

• 기존 코드 표현 방법이 데이터 흐름과 타입 계층 구조와 같은 깊은 의미적 구조를 忽略하는 데서 기인하는 한계를 해결하기 위해.
• 프로그램 의미를 고려한 추론이 필요한 새로운 기계학습 과제인 변수 오용 예측(VarMisuse)을 제안하기 위해.
• 기반 그래프 모델이 다양한 코드베이스에 일반화 가능한 의미적인 프로그램 표현을 학습할 수 있음을 보여주기 위해.
• RavenDB와 Roslyn과 같은 성숙한 오픈소스 프로젝트에서 실제 버그를 탐지함으로써 접근법의 실용적 유용성을 검증하기 위해.

제안 방법

• 문자열 순서와 같은 구문적 관계와 데이터 흐름, 매개변수 바인딩과 같은 의미적 관계를 인코딩하여 프로그램 그래프를 구성하기.
• 데이터 흐름과 타입 계층 정보를 그래프 구조에 통합하여 의미 신호를 풍부하게 하기.
• 이러한 대규모 프로그램 그래프에서 게이트드 그래프 신경망(GGNNs)을 훈련하여 코드 요소의 분산 표현을 학습하기.
• 학습된 표현을 사용해 변수 이름을 예측하기(VarNaming) 및 코드 슬롯에서 정확한 변수를 선택하기(VarMisuse).
• 실제 소스 코드 290만 줄에서 유도된 대규모 그래프를 처리할 수 있도록 GGNN 훈련을 스케일링하기.
• 학습된 표현 간 코사인 유사도를 적용해 코드 조각 간 의미 유사도 분석하기.

실험 결과

연구 질문

• RQ1 기반 그래프 신경망은 소스 코드의 구문적 및 의미적 구조를 효과적으로 모델링하여 프로그램 표현을 향상시킬 수 있는가?
• RQ2 프로그램 그래프에서 훈련된 모델은 사용 맥락을 바탕으로 변수 이름을 얼마나 잘 예측할 수 있는가(VarNaming)?
• RQ3 프로그램 그래프에서 훈련된 모델은 문법적으로는 유효하지만 의미적으로 잘못된 변수 오용 오류를 탐지할 수 있는가?
• RQ4 학습된 표현이 코드 조각 간 의미적 유사성을 얼마나 잘 포착하는가?
• RQ5 VarMisuse 모델은 실사용 단계 소프트웨어에서 이전에 발견되지 않은 실제 버그를 식별할 수 있는가?

주요 결과

• 제안된 기반 그래프 모델은 VarNaming 과제에서 32.9%의 정확도를 달성하여, 더 구조화되지 않은 표현에 의존하는 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 모델은 VarMisuse 과제에서 85.5%의 정확도를 기록하여 코드 전반에서 변수 의미를 추론하는 데 강력한 능력을 보였다.
• 모델은 RavenDB에서 3개, Roslyn에서 3개의 이전에 알려지지 않은 버그를 성공적으로 탐지했으며, 개발자들이 비공식적으로 보고하고 수정했다.
• 시각화 결과 모델이 의미적으로 유의미한 표현을 학습하고 있음을 보여주었으며, 다양한 코드 세그먼트에 걸쳐 유사한 변수 사용(예: null 체크)을 함께 묶었다.
• 모델은 레이븐DB에서 버퍼 크기를 'length'가 아니라 'size'로 설정하는 것과 같은 메모리 비효율성을 식별했으며, 이는 미묘하지만 측정 가능한 문제였다.
• 이 접근법은 컴파일러나 문법적 검사로는 발견되지 않는 버그, 예를 들어 잘못된 오류 메시지나 복사-붙여넣기 오류와 같은 문제를 보완하여 식별할 수 있었다.