[논문 리뷰] ATOM: Commit Message Generation Based on Abstract Syntax Tree and Hybrid Ranking

Shangqing Liu, Cuiyun Gao외 3명|arXiv (Cornell University)|2019. 12. 06.

Software Engineering Research참고 문헌 71인용 수 14

한 줄 요약

이 논문은 추상 구문 트리(abstract syntax trees, ASTs)를 활용하여 코드 의미를 포착하고, 검색된 메시지와 생성된 메시지를 하이브리드 랭킹 모듈을 통해 통합함으로써 커밋 메시지 생성 모델 ATOM을 제안한다. 56개의 인기 있는 자바 레포지토리에서 수집한 데이터셋에서 ATOM은 BLEU-4 기준으로 최신 기술(SOTA) 성능을 30.72% 향상시켰다.

ABSTRACT

Commit messages record code changes (e.g., feature modifications and bug repairs) in natural language, and are useful for program comprehension. Due to the frequent updates of software and time cost, developers are generally unmotivated to write commit messages for code changes. Therefore, automating the message writing process is necessitated. Previous studies on commit message generation have been benefited from generation models or retrieval models, but the code structure of changed code, i.e., AST, which can be important for capturing code semantics, has not been explicitly involved. Moreover, although generation models have the advantages of synthesizing commit messages for new code changes, they are not easy to bridge the semantic gap between code and natural languages which could be mitigated by retrieval models. In this paper, we propose a novel commit message generation model, named ATOM, which explicitly incorporates the abstract syntax tree for representing code changes and integrates both retrieved and generated messages through hybrid ranking. Specifically, the hybrid ranking module can prioritize the most accurate message from both retrieved and generated messages regarding one code change. We evaluate the proposed model ATOM on our dataset crawled from 56 popular Java repositories. Experimental results demonstrate that ATOM increases the state-of-the-art models by 30.72% in terms of BLEU-4 (an accuracy measure that is widely used to evaluate text generation systems). Qualitative analysis also demonstrates the effectiveness of ATOM in generating accurate code commit messages.

연구 동기 및 목표

• 개발자가 시간이 부족하거나 표준화되지 않은 상황으로 인해 저품질 또는 누락된 커밋 메시지가 발생하는 문제를 해결하기 위해.
• 추상 구문 트리(abstract syntax trees, ASTs)를 통해 코드 구조를 명시적으로 모델링하여 커밋 메시지 생성을 향상시키기 위해.
• 코드 변경 사항과 자연어 사이의 의미적 격차를 줄이기 위해 검색 기반 및 생성 기반 접근 방식을 융합하기 위해.
• 검색된 후보와 생성된 후보에서 가장 정확한 메시지를 선택할 수 있는 하이브리드 랭킹 메커니즘을 개발하기 위해.

제안 방법

• ATOM은 코드 변경 사항을 AST 경로로 인코딩하여 문법적 및 의미적 구조를 포착함으로써, 평탄한 토큰 시퀀스를 초월한 코드 표현을 향상시킨다.
• AST로 인코딩된 코드 변경 사항에서 커밋 메시지를 생성하기 위해 신경 기계 번역(NMT) 모델을 활용한다.
• diff 벡터 유사도 기반으로 대규모 데이터셋에서 유사한 커밋 메시지를 검색하는 정보 검색 기반 접근 방식을 사용한다.
• 하이브리드 랭킹 모듈은 검색 모델과 생성 모델의 점수를 통합하여 각 코드 변경 사항에 대해 가장 정확한 메시지를 우선순위로 선정한다.
• 모델는 실질적인 커밋 변경 사항에 중점을 두고, 56개의 인기 있는 자바 레포지토리에서 수집한 자체 제작 데이터셋을 기반으로 훈련 및 평가된다.
• 성능 비교를 위해 BLEU-4가 주요 평가 지표로 사용된다.

실험 결과

연구 질문

• RQ1 평탄한 토큰 시퀀스 대비 AST 기반 코드 표현이 커밋 메시지 생성 정확도를 향상시키는가?
• RQ2 검색 기반 및 생성 기반 방법의 통합은 코드와 자연어 사이의 의미적 격차를 줄이는 데 얼마나 효과적인가?
• RQ3 하이브리드 랭킹 메커니즘은 별도의 검색 모델 또는 생성 모델보다 커밋 메시지 선택에서 더 우수한 성능을 내는가?
• RQ4 AST 구조를 통합함으로써 모델의 미리 보지 않은 코드 변경 사항에 대한 일반화 능력은 어느 정도 향상되는가?

주요 결과

• ATOM는 최신 기술(SOTA) 모델 대비 BLEU-4에서 30.72% 향상되어 뚜렷한 성능 향상을 입증했다.
• AST 경로를 사용한 코드 표현은 코드 변경 사항 내의 문법적 및 의미적 정보를 더 잘 포착함을 보여주었다.
• 하이브리드 랭킹 모듈은 검색된 메시지와 생성된 메시지를 효과적으로 통합하여, 단독으로 사용할 경우보다 더 정확한 출력을 선별했다.
• 정성적 분석을 통해 ATOM은 기준 모델 대비 더 정밀하고 맥락적으로 관련성이 높은 커밋 메시지를 생성하는 것으로 확인되었다.
• 모델는 검색 기반(NNGen) 및 생성 기반(NMT) 모델 모두를 능가하는 성능을 보여주어 하이브리드 접근 방식의 효과성을 입증했다.
• 생산 수준의 자바 레포지토리에서의 실질적인 코드 변경 사항에 대해 모델는 강건성을 유지하여 실용적 적용 가능성을 입증했다.