[논문 리뷰] RACE: Retrieval-Augmented Commit Message Generation

Ensheng Shia, Yanlin Wang외 6명|arXiv (Cornell University)|2022. 03. 05.

Software Engineering Research인용 수 5

한 줄 요약

이 논문은 의미적으로 유사한 커밋 메시지를 예시로 검색하고, 이를 바탕으로 현재 코드 변경 사항과 정렬하는 예시 가이더를 사용하는 검색 보강 신경망 모델인 RACE를 제안한다. 이는 생성 품질을 크게 향상시킨다. RACE는 다섯 가지 프로그래밍 언어에서 최신 기술 모델들을 모두 능가하며, BLEU 점수에서 최대 43% 향상되었고, 정보성, 간결성, 표현력 면에서 뛰어난 인간 평가 결과를 보였다.

ABSTRACT

Commit messages are important for software development and maintenance. Many neural network-based approaches have been proposed and shown promising results on automatic commit message generation. However, the generated commit messages could be repetitive or redundant. In this paper, we propose RACE, a new retrieval-augmented neural commit message generation method, which treats the retrieved similar commit as an exemplar and leverages it to generate an accurate commit message. As the retrieved commit message may not always accurately describe the content/intent of the current code diff, we also propose an exemplar guider, which learns the semantic similarity between the retrieved and current code diff and then guides the generation of commit message based on the similarity. We conduct extensive experiments on a large public dataset with five programming languages. Experimental results show that RACE can outperform all baselines. Furthermore, RACE can boost the performance of existing Seq2Seq models in commit message generation.

연구 동기 및 목표

• 기존 신경망 모델이 생성하는 반복적이고 중복되거나 정보가 적은 커밋 메시지 문제를 해결하기 위해.
• 과거 커밋에서 의미적으로 유사한 커밋을 예시로 활용하여 커밋 메시지 생성의 정확성과 정보성 향상을 위해.
• 현재 코드 변경 사항과 검색된 커밋 간의 의미적 유사성 학습을 통해 검색된 예시가 잘못되거나 관련 없는 정보를 포함할 위험을 줄이기 위해.
• 기존 Seq2Seq 모델을 재학습 없이도 검색 보강 생성을 통해 향상시킬 수 있는 프레임워크를 설계하기 위해.
• 다양한 프로그래밍 언어에서 자동 평가 지표와 인간 평가를 통해 접근법의 효과성을 검증하기 위해.

제안 방법

• 코드 변경 사항을 고차원 의미 공간에 임bedding하여 유사도 계산을 위한 코드 차이 인코더를 학습한다.
• 벡터 유사도(예: 코사인 거리)를 사용하여 대규모 병렬 코퍼스에서 가장 유사한 코드 변경 사항과 관련된 커밋 메시지를 검색한다.
• 검색된 커밋 메시지를 예시로 간주하여 생성 과정을 안내한다.
• 현재 코드 변경 사항과 검색된 예시 간의 의미적 유사성을 학습하는 예시 가이더 모듈을 도입한다.
• 유사도 점수를 활용해 생성 모델이 예시에 동적으로 주의를 기울이거나 조건화하여 관련성 있고 정확한 메시지 합성을 보장한다.
• 기존 Seq2Seq 모델(예: NMTGen, CodeT5, CommitBERT)에 검색 보강 메커니즘을 통합하여 재학습 없이도 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 순수 신경망 또는 검색 기반 기준 모델 대비 검색 보강 생성이 자동 생성 커밋 메시지의 품질과 정보성 향상에 기여하는가?
• RQ2 예시 가이더는 검색된 예시를 현재 코드 변경 사항과 정렬하여 관련 없거나 잘못된 정보가 포함되는 것을 방지하는 데 얼마나 효과적인가?
• RQ3 RACE는 기존 최신 기술 Seq2Seq 모델의 커밋 메시지 생성 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 검색 보강 접근법은 자바, C#, C++, 파이썬, 자바스크립트를 포함한 여러 프로그래밍 언어로 일반화되는가?
• RQ5 인간 평가자들은 RACE가 생성한 커밋 메시지의 정보성, 간결성, 표현력이 기준 모델 대비 얼마나 높은가?

주요 결과

• RACE는 다섯 가지 프로그래밍 언어를 포함하는 대규모 데이터셋에서 네 가지 자동 평가 지표(BLEU, Meteor, Rouge-L, Cider) 모두에서 11개의 최신 기술 기준 모델을 뛰어넘었다.
• RACE는 NMTGen의 BLEU 점수를 평균적으로 43% 향상시켰고, CommitBERT는 11%, CodeT5-small는 15%, CodeT5-base는 16% 향상시켰다.
• 인간 평가 결과 RACE는 정보성(2.49), 간결성(3.08), 표현력(2.85) 평균 점수에서 가장 높은 점수를 기록했으며, 모든 향상은 통계적으로 유의미했다(p < 0.05).
• 예시 가이더는 현재 코드 변경 사항과 검색된 커밋 간의 의미적 유사성 학습을 통해 검색된 예시에서 관련 없거나 잘못된 정보가 포함되는 위험을 효과적으로 줄였다.
• 이 프레임워크는 재학습 없이도 기존 모델을 보완하는 플러그인 방식으로 효과적이었다.
• 이 접근법은 다섯 가지 다양하고 다른 프로그래밍 언어에서 강력한 일반화 성능을 보여, 넓은 적용 가능성을 시사한다.