[논문 리뷰] Automatically Generating Commit Messages from Diffs using Neural Machine Translation

Siyuan Jiang, Ameer Armaly외 1명|arXiv (Cornell University)|2017. 08. 30.

Software Engineering Research참고 문헌 45인용 수 6

한 줄 요약

이 논문은 최상위 GitHub 프로젝트에서 유래한 200만 개의 커밋 메시지 쌍으로 구성된 필터링된 코퍼스를 훈련 데이터로 사용하여, 코드 디프트에서 자동으로 요약되고 고수준인 커밋 메시지를 생성하기 위해 신경 기계 번역(NMT)을 사용하는 방법을 제안한다. 이 방법은 일반적인 변경 패턴에서는 뛰어난 성능을 보이지만, 새로운 변경 사항에 대해서는 낮은 품질의 출력을 생성한다. 품질 보증 필터를 통해 예측이 신뢰할 수 없을 경우 사용자에게 경고를 제공함으로써 이 문제를 완화하여 출력의 신뢰성을 크게 향상시킨다.

ABSTRACT

Commit messages are a valuable resource in comprehension of software evolution, since they provide a record of changes such as feature additions and bug repairs. Unfortunately, programmers often neglect to write good commit messages. Different techniques have been proposed to help programmers by automatically writing these messages. These techniques are effective at describing what changed, but are often verbose and lack context for understanding the rationale behind a change. In contrast, humans write messages that are short and summarize the high level rationale. In this paper, we adapt Neural Machine Translation (NMT) to automatically "translate" diffs into commit messages. We trained an NMT algorithm using a corpus of diffs and human-written commit messages from the top 1k Github projects. We designed a filter to help ensure that we only trained the algorithm on higher-quality commit messages. Our evaluation uncovered a pattern in which the messages we generate tend to be either very high or very low quality. Therefore, we created a quality-assurance filter to detect cases in which we are unable to produce good messages, and return a warning instead.

연구 동기 및 목표

• 저수준의 변경 사항 기술에 치중된 자동화된 도구가 부족한 데 대응하여, 고수준의 이유 중심 커밋 메시지를 생성하는 자동화된 도구를 개발한다.
• 코드 디프트에서부터 간결하고 인간이 작성한 것 같은 커밋 메시지를 자동으로 생성하여 소프트웨어 유지보수성을 향상시킨다.
• 반복적이거나 패턴화된 변경 사항에 대해 개발자의 부담을 줄이기 위해 커밋 메시지 생성을 자동화한다.
• 훈련 과정에서 저품질의 커밋 메시지를 식별하고 제거하여 모델의 신뢰성을 향상시킨다.
• 모델이 신뢰할 수 있는 메시지를 생성할 수 없을 때 이를 감지하고 경고를 내보내는 품질 보증 메커니즘을 개발한다.

제안 방법

• 상위 1,000개의 GitHub 프로젝트에서 유래한 코드 디프트와 인간이 작성한 커밋 메시지의 쌍을 기반으로 신경 기계 번역(NMT) 모델을 훈련한다.
• 품질 높은, 문법적으로 올바른 구조를 가진 커밋 메시지만을 선택하기 위해 동사-직접 목적어(V-DO) 패턴 필터를 적용한다.
• 어텐션 메커니즘을 갖춘 시퀀스 투 시퀀스 NMT 아키텍처를 사용하여 코드 디프트를 자연어 커밋 메시지로 매핑한다.
• 모델의 신뢰도를 평가하고 저신뢰도 예측을 식별하여 인간 검토를 위해 표시하는 품질 보증 필터를 구현한다.
• 자동 평가 지표(예: BLEU, METEOR)와 생성된 메시지의 대표 샘플에 대한 인간 평가를 통해 모델 성능을 평가한다.
• 재현 가능성을 높이고 향후 연구를 지원하기 위해 전체 데이터셋과 구현 코드를 공개한다.

실험 결과

연구 질문

• RQ1 신경 기계 번역이 코드 디프트에서 고수준의 이유 중심 커밋 메시지를 효과적으로 생성할 수 있는가?
• RQ2 훈련 데이터의 품질이 모델이 정확하고 간결한 커밋 메시지를 생성하는 데 미치는 영향은 어떠한가?
• RQ3 모델이 새로운 변화나 반복적이지 않은 변화 유형에 대해 얼마나 잘 일반화되는가?
• RQ4 품질 보증 필터가 저신뢰도 예측을 효과적으로 감지하고 경고를 내보낼 수 있는가?
• RQ5 자동 평가 지표가 메시지 품질과 관련성에 대한 인간 평가와 얼마나 관련이 있는가?

주요 결과

• NMT 모델은 반복적인 일반적인 변경 패턴에 대해 매우 우수한 성능을 보이며, 인간이 작성한 메시지와 유사한 메시지를 생성한다. 이는 인간 평가로도 확인되었다.
• 생성된 메시지의 상당 부분이 저품질이었으며, 특히 새로운 변화나 반복적이지 않은 변화에 대해서는 이는 패턴 기반 학습의 범위를 넘어서는 한계를 보여준다.
• 품질 보증 필터는 저품질 예측의 수를 효과적으로 줄였으며, 평가에서 매우 열악한 메시지(점수 0)의 비율을 감소시켰다.
• 인간 평가자들은 생성된 메시지의 다수를 기준 메시지와 매우 유사한 것으로 평가하여, 일반적인 케이스에서의 강력한 성능을 확인했다.
• 새로운 통찰이 필요한 변경 사항에 대해서는 모델이 메시지를 생성하는 데 어려움을 겪는다. 이는 역사적 데이터 기반의 패턴 학습의 범위를 초월하기 때문이다.
• 200만 개의 필터링된 커밋 메시지 쌍과 전체 구현 코드는 재현 가능성과 향후 연구를 지원하기 위해 공개되었다.