[논문 리뷰] A Convolutional Neural Network for Language-Agnostic Source Code Summarization

Jessica Moore, Ben Gelman외 1명|arXiv (Cornell University)|2019. 03. 29.

Software Engineering Research참고 문헌 35인용 수 4

한 줄 요약

이 논문은 언어에 종속되지 않은 문자 수준의 컨볼루션 신경망을 제안하며, 언어별로 다른 파싱이나 고정된 어휘를 필요로 하지 않고 기술적인 주석을 생성한다. 이 모델은 단일 언어(자바) 데이터셋에서 최신 기술 성능을 달성하고, 다중 언어 데이터셋에 대한 첫 번째 결과를 제공하며, 효과적인 다국어 일반화와 코드 문법 변형에 대한 강건성을 입증한다.

ABSTRACT

Descriptive comments play a crucial role in the software engineering process. They decrease development time, enable better bug detection, and facilitate the reuse of previously written code. However, comments are commonly the last of a software developer's priorities and are thus either insufficient or missing entirely. Automatic source code summarization may therefore have the ability to significantly improve the software development process. We introduce a novel encoder-decoder model that summarizes source code, effectively writing a comment to describe the code's functionality. We make two primary innovations beyond current source code summarization models. First, our encoder is fully language-agnostic and requires no complex input preprocessing. Second, our decoder has an open vocabulary, enabling it to predict any word, even ones not seen in training. We demonstrate results comparable to state-of-the-art methods on a single-language data set and provide the first results on a data set consisting of multiple programming languages.

연구 동기 및 목표

• 소프트웨어 개발에서 희박하거나 누락된 문서화로 인한 유지보수 비용 증가와 코드 이해의 어려움을 해결하기 위해.
• 언어별로 다른 파서가 필요하고 닫힌 어휘 제약으로 인해 어려움을 겪는 기존 소스 코드 요약 모델의 한계를 극복하기 위해.
• 프로그래밍 언어나 문법에 관계없이 소스 코드를 요약할 수 있는 통합된 언어에 종속되지 않는 모델을 개발하기 위해.
• 학습 중에 볼 수 없었던 드문 또는 도메인 전용 용어라도 기술적인 자연어 주석을 생성할 수 있도록 하기 위해.
• 다국어 코드 요약에 대한 첫 번째 실증적 결과를 제공하여 C++ 및 파이썬에 대한 새로운 기준을 설정하기 위해.

제안 방법

• 모델은 소스 코드를 원시 문자 시퀀스로 처리하는 깊이 있는 컨볼루션 인코더를 사용하여 렉싱 또는 파싱이 필요 없도록 한다.
• 문자 임베딩은 엔드 투 엔드로 학습되며, 다양한 프로그래밍 언어 간의 문법적 및 의미적 패턴을 포착할 수 있도록 한다.
• 새로운 개방형 어휘 메커니즘을 사용하는 디코더는 단어, 서브워드, 개별 문자를 조합하여 어떤 단어라도 생성할 수 있다. 이는 어휘 외 단어의 생성에도 유용하다.
• 모델은 어텐션 기반의 시퀀스 투 시퀀스 프레임워크로 훈련되어 코드 기능과 요약 토큰 간의 정렬을 가능하게 한다.
• 코드 주석에서 용어의 긴 꼬리 분포를 다루기 위해 고안된 특수한 어휘 구성 방법이 도입되어 드문 또는 프로젝트 전용 용어에 대한 일반화 능력을 향상시킨다.
• 언어별 전처리를 피함으로써 원시 코드, 심지어 문법 오류나 비표준 형식이 있는 코드도 직접 입력할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 언어별 전처리 없이 단일 신경망 모델이 여러 프로그래밍 언어의 소스 코드를 효과적으로 요약할 수 있는가?
• RQ2 닫힌 어휘 모델에 비해 개방형 어휘 디코더는 드문 또는 도메인 전용 용어의 생성에 어떻게 향상되는가?
• RQ3 문자 수준의 인코더가 문법이나 언어에 종속되지 않고 코드의 기능을 의미적으로 이해할 수 있는 표현을 얼마나 잘 학습할 수 있는가?
• RQ4 이 모델은 단일 언어 벤치마크에서 최신 기술 모델과 비교해 유사한 성능을 달성하는가?
• RQ5 예상치 못한 프로그래밍 언어에 대해 일반화할 수 있는가? 이를 다국어 데이터셋에서의 성능으로 입증할 수 있는가?

주요 결과

• 이 모델은 자바 기반의 CodeXGLUE 벤치마크에서 최신 기술 성능을 달성하여 BLEU 및 ROUGE 점수 모두 기존 언어별 모델을 능가한다.
• 이 모델은 다국어 코드 요약 데이터셋에 대해 처음으로 보고된 결과를 제공하며, C++, 자바, 파이썬 간의 효과적인 제로샷 일반화를 입증한다.
• 개방형 어휘 디코더는 'playerID'나 'isValid'와 같은 이전에 본 적 없는 용어를 unknown 토큰 대체 없이도 성공적으로 생성한다.
• 문법 오류나 비표준 형식이 있는 코드에 대해서도 높은 성능을 유지하여 입력 노이즈에 대한 강건성을 확인한다.
• 문자 수준 인코더는 언어 간에 잘 일반화되어 있어, 문법적 차이가 의미 이해를 방해하지 않는다는 것을 보여준다.
• 드문 또는 프로젝트 전용 용어에 대해 의미 있는 주석을 생성할 수 있는 능력은 하이브리드 단어/서브워드/문자 예측 메커니즘의 효과성을 확인한다.