[논문 리뷰] Open Vocabulary Learning on Source Code with a Graph-Structured Cache

Milan Cvitkovic, Badal Singh외 1명|arXiv (Cornell University)|2018. 10. 18.

Machine Learning in Materials Science인용 수 20

한 줄 요약

이 논문은 소스 코드 표현에서 열린 어휘 학습 문제를 해결하기 위해, 어휘 외 단어들을 코드 내 사용 위치와 연결된 노드로 인코딩하는 그래프 구조 캐시(GSC)를 제안한다. AST에 기반한 그래프 신경망과 결합할 경우, GSC는 코드 완성과 변수 이름 지정 성능을 각각 100% 이상 향상시키며, 학습 시간은 약 30% 증가할 뿐이다.

ABSTRACT

Machine learning models that take computer program source code as input typically use Natural Language Processing (NLP) techniques. However, a major challenge is that code is written using an open, rapidly changing vocabulary due to, e.g., the coinage of new variable and method names. Reasoning over such a vocabulary is not something for which most NLP methods are designed. We introduce a Graph-Structured Cache to address this problem; this cache contains a node for each new word the model encounters with edges connecting each word to its occurrences in the code. We find that combining this graph-structured cache strategy with recent Graph-Neural-Network-based models for supervised learning on code improves the models' performance on a code completion task and a variable naming task --- with over $100\%$ relative improvement on the latter --- at the cost of a moderate increase in computation time.

연구 동기 및 목표

• 지속적으로 새로운 변수명과 메서드명이 도입되는 소스 코드에서 열린 어휘 학습 문제를 해결하기 위해.
• 동적이고 맥락에 민감한 어휘 처리 방식을 통합함으로써 그래프 신경망 모델의 코드 표현 작업 성능을 향상시키기 위해.
• 고정된 닫힌 어휘에 의존하지 않고 어휘 외 단어에 대해 추론할 수 있도록 하기 위해.
• 실제 소스 코드 생성 및 완성 작업에서 그래프 구조 캐시의 효과성을 평가하기 위해.

제안 방법

• 그래프 구조 캐시(GSC)는 코드에서 발견된 각 새로운 단어에 대해 노드를 생성하고, 이를 소스 코드 내 모든 사용 위치와 연결하는 간선으로 연결한다.
• GSC는 추상구문트리(_AST_)에 통합되어 보강된 그래프를 형성하며, 이는 이후의 작업을 위해 그래프 신경망(GNN)에 의해 처리된다.
• 포인터 세인티널 믹스처 모델 아키텍처를 사용하며, 디코더는 GSC 노드와 닫힌 어휘에 대한 어텐션을 병합하여 단어를 예측한다.
• GSC는 모델이 코드의 구조적 맥락뿐 아니라 드문 또는 미리보지 않은 단어의 의미적·구문적 역할까지도 고려할 수 있도록 한다.
• 모델은 GNN을 통해 AST와 GSC를 통해 표현을 전파하며, 코드 요소들 간의 관계적 종속성을 포착한다.
• GSC는 추론 및 학습 중에 동적으로 구축되며, 각 새로운 단어가 사용 위치에 연결된 노드로 추가된다.

실험 결과

연구 질문

• RQ1 그래프 구조 캐시는 어휘 외 단어를 포함한 코드 표현 작업 성능을 향상시킬 수 있는가?
• RQ2 GSC의 관계적 구조는 포인터 네트워크와 같은 간단한 OOV 처리 메커니즘보다 어떻게 비교되는가?
• RQ3 변수 이름 지정 작업에서 GSC는 보고된 적이 있는 코드 레포지터리와 보지 못한 레포지터리 간의 일반화 능력을 어느 정도 향상시키는가?
• RQ4 계산 비용 증가에도 불구하고 GSC의 포함이 코드 완성 및 변수 이름 지정 작업에서 측정 가능한 성능 향상으로 이어지는가?
• RQ5 GSC 아키텍처의 어떤 구성 요소가 성능 향상에 필수적이며, 각각이 개별적으로 기여하는 바는 무엇인가?

주요 결과

• GSC는 기준 모델 대비 코드 완성 작업에서 최소 7%의 정확도 향상을 보였다.
• 변수 이름 지정 작업에서 GSC는 기준 모델 대비 103%의 상대적 성능 향상을 달성했다.
• 포인터 세인티널 모델보다 성능이 뛰어나, 단어 사용에 대한 관계 정보가 성능 향상에 핵심적임을 시사한다.
• 학습된 레포지터리와 보지 못한 테스트 레포지터리 간에 강력한 성능 유지가 이루어져 일반화 능력 향상이 확인되었다.
• GSC로 인해 계산 비용이 약 30% 증가했으며, 주로 그래프 내 간선 수 증가로 인한 것이다.
• 제거 실험 결과, 그래프 구조와 GSC 노드에 대한 어텐션 메커니즘이 관측된 성능 향상에 필수적임을 확인했다.