[논문 리뷰] Automatic Generation of Text Descriptive Comments for Code Blocks

Yuding Liang, Kenny Q. Zhu|arXiv (Cornell University)|2018. 08. 21.

Software Engineering Research참고 문헌 23인용 수 14

한 줄 요약

이 논문은 소스 코드 블록에 대한 기술적 설명 주석을 자동으로 생성하기 위해 구조적이고 의미적인 코드 특징을 포착하는 데 전용으로 설계된 새로운 순환 신경망(Code-RNN)을 사용한 템플릿 기반 아키텍처를 제안한다. 이어서, 자연어 주석 생성을 위해 특수하게 설계된 GRU 기반 생성기(Code-GRU)를 사용한다. 이 방법은 기존의 학습 기반 및 템플릿 기반 방법들보다 유의미하게 뛰어난 SOTA(Rouge-2) 성능을 달성한다.

ABSTRACT

We propose a framework to automatically generate descriptive comments for source code blocks. While this problem has been studied by many researchers previously, their methods are mostly based on fixed template and achieves poor results. Our framework does not rely on any template, but makes use of a new recursive neural network called Code-RNN to extract features from the source code and embed them into one vector. When this vector representation is input to a new recurrent neural network (Code-GRU), the overall framework generates text descriptions of the code with accuracy (Rouge-2 value) significantly higher than other learning-based approaches such as sequence-to-sequence model. The Code-RNN model can also be used in other scenario where the representation of code is required.

연구 동기 및 목표

• 실제 소프트웨어 저장소에서 흩어져 있고 품질이 낮은 주석 문제를 해결함으로써, 코드 이해와 검색을 방해하는 문제를 해결하고자 한다.
• 반복적이며 맥락에 민감하지 않고 의미적 커버리지가 떨어지는 문제를 야기하는 템플릿 기반 방법의 한계를 극복하고자 한다.
• 구문적 구조와 의미적 의미를 모두 포착하는 딥 러닝 프레임워크를 개발하여 주석 생성의 정확성을 향상시키고자 한다.
• 주석 생성 이외의 응용 분야에도 적용 가능한 일반적인 코드 표현 방법(예: 코드 분류 및 검색)을 개발하고자 한다.

제안 방법

• 소스 코드의 추상 구문 트리(AST)를 잎에서 루트로의 순회를 통해 처리하는 새로운 순환 신경망인 Code-RNN을 설계하여, 구조적 및 의미적 특징을 포함하는 벡터 표현을 학습한다.
• Code-RNN을 사용해 코드 블록에 대한 조밀한 벡터 임베딩을 생성하며, 각 벡터는 코드의 기능적 의도와 구문적 구조를 포괄한다.
• Code-RNN에서 생성된 의미 벡터를 보다 효과적으로 활용하기 위해 특수하게 설계된 새로운 게이팅 순환 단위(GRU) 변형인 Code-GRU를 도입한다.
• 코드 임베딩에서 자연어 주석을 생성하기 위해 시퀀스-투-시퀀스 학습을 사용해 Code-GRU 모델을 엔드 투 엔드로 훈련한다.
• 아키텍처 설계를 통해 주석의 의미와 생성된 단어 간의 정렬을 암묵적으로 활용하는 어텐션 메커니즘을 적용한다.
• 10개의 활성 Java 저장소에서 프레임워크를 평가하며, 주로 주석 품질 평가를 위해 Rouge-2를 주요 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 신경망 기반 접근 방식이 소스 코드 블록에 대해 템플릿 기반 시스템보다 더 정확하고 다양한 주석을 생성할 수 있는가?
• RQ2 순환 신경망(Code-RNN)이 표현 학습을 위해 소스 코드의 구조적 및 의미적 특징을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 코드 임베딩을 조건으로 삼을 때, 특수화된 GRU 아키텍처(Code-GRU)가 표준 RNN에 비해 주석 생성 품질을 향상시키는가?
• RQ4 다양한 오픈소스 Java 프로젝트에서 제안된 프레임워크는 SOTA 방법과 비교해 Rouge-2 점수 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 프레임워크는 기존의 학습 기반 및 템플릿 기반 접근 방식보다 유의미하게 높은 Rouge-2 점수를 달성하여, 더 뛰어난 주석 생성 정확도를 입증한다.
• 10개의 활성 Java 저장소에서 평균적으로 기존 SOTA 모델들을 초월하며, 대부분의 프로젝트에서 최고의 Rouge-2 점수를 기록한다.
• Code-RNN 모델은 AST를 순회함으로써 코드의 구문적 및 의미적 특징을 성공적으로 포착하여, 템플릿에 의존하지 않고도 의미 있는 벡터 표현을 생성한다.
• Code-GRU 생성기는 코드 임베딩을 효과적으로 활용하여 유창하고 맥락에 부합하는 주석을 생성하며, 템플릿 기반 시스템에서 흔히 발생하는 반복을 피한다.
• 파싱 트리가 가용한 한 다른 프로그래밍 언어로도 일반화 가능하므로, 이 프레임워크는 Java를 넘어서 광범위한 적용 가능성을 지닌다.