[논문 리뷰] Contextualized Code Representation Learning for Commit Message Generation

Lun Yiu Nie, Cuiyun Gao외 4명|arXiv (Cornell University)|2020. 07. 14.

Software Engineering Research참고 문헌 37인용 수 10

한 줄 요약

이 논문은 커밋 시퀀스에서 맥락 인식 코드 표현을 추출하기 위해 트랜스포머 기반 모델을 활용하는 CoreGen을 제안한다. 이는 커밋 메시지 생성을 크게 향상시키며, 정적 표현 대신 동적이고 맥락 민감한 코드 임베딩을 사용함으로써 기준 모델 대비 BLEU-4 점수에서 28.18% 향상된다.

ABSTRACT

Automatic generation of high-quality commit messages for code commits can substantially facilitate developers' works and coordination. However, the semantic gap between source code and natural language poses a major challenge for the task. Several studies have been proposed to alleviate the challenge but none explicitly involves code contextual information during commit message generation. Specifically, existing research adopts static embedding for code tokens, which maps a token to the same vector regardless of its context. In this paper, we propose a novel Contextualized code representation learning method for commit message Generation (CoreGen). CoreGen first learns contextualized code representation which exploits the contextual information behind code commit sequences. The learned representations of code commits built upon Transformer are then transferred for downstream commit message generation. Experiments on the benchmark dataset demonstrate the superior effectiveness of our model over the baseline models with an improvement of 28.18% in terms of BLEU-4 score. Furthermore, we also highlight the future opportunities in training contextualized code representations on larger code corpus as a solution to low-resource settings and adapting the pretrained code representations to other downstream code-to-text generation tasks.

연구 동기 및 목표

• 커밋 메시지 생성에서 소스 코드와 자연어 간의 의미적 격차를 해소하기 위해.
• 코드 토큰의 맥락적 뉘앙스를 포착하지 못하는 정적 코드 임베딩의 한계를 극복하기 위해.
• 커밋 시퀀스로부터 맥락 인식 코드 표현을 학습하여 후속 메시지 생성 성능을 향상시키기 위해.
• 맥락 인식 코드 표현이 자동 커밋 메시지 생성 품질 향상에 기여하는지 입증하기 위해.
• 저자원 설정에서의 성능 향상을 위해 더 큰 코드 코퍼스에서 미리 훈련하는 것의 잠재력을 탐색하기 위해.

제안 방법

• 코드 토큰 간의 의존성을 모델링하여 순서에 따라 코드 커밋의 맥락 인식 표현을 학습하기 위해 트랜스포머 기반 아키텍처를 활용한다.
• 구문적 및 의미적 맥락을 포착하기 위해 커밋 시퀀스로 모델을 훈련함으로써 맥락에 따라 변하는 동적 코드 토큰 임베딩을 가능하게 한다.
• 엔드 투 엔드 훈련을 위해 학습된 코드 표현을 후속 커밋 메시지 생성 모델로 전이한다.
• 어텐션 메커니즘을 활용한 시퀀스 투 시퀀스 모델링을 통해 맥락 인식 코드 표현에서 자연어 커밋 메시지를 생성한다.
• 특히 저자원 상황에서 표현 품질을 향상시키기 위해 대규모 코드 코퍼스에서의 미리 훈련을 활용한다.
• 벤치마크 데이터셋에서의 테스트를 통해 BLEU-4 및 기타 생성 지표 최적화를 위해 모델을 피지테이닝한다.

실험 결과

연구 질문

• RQ1 커밋 시퀀스에서 학습된 맥락 인식 코드 표현은 자동 생성 커밋 메시지의 품질을 향상시킬 수 있는가?
• RQ2 CoreGen의 접근 방식은 정적 코드 임베딩을 사용하는 모델 대비 생성 성능에서 어떻게 비교되는가?
• RQ3 더 큰 코드 코퍼스에서의 미리 훈련이 저자원 커밋 메시지 생성 설정에서 성능을 얼마나 향상시킬 수 있는가?
• RQ4 학습된 맥락 인식 코드 표현은 다른 코드-텍스트 생성 작업에 효과적으로 전이될 수 있는가?
• RQ5 코드 커밋 내의 순서적 맥락을 모델링하는 것이 생성된 메시지의 유창성과 관련성에 어떤 영향을 미치는가?

주요 결과

• CoreGen은 기준 모델 대비 BLEU-4 점수에서 28.18% 향상되어 커밋 메시지 생성 분야에서 뚜렷한 성능 향상을 보였다.
• 맥락 인식 코드 표현을 사용할 경우 정적 임베딩 대비 더 의미적으로 정확하고 맥락에 부합하는 커밋 메시지가 생성된다.
• 전이 학습을 통해 성능이 향상되었으며, 더 큰 코드 코퍼스에서의 미리 훈련이 특히 저자원 설정에서 일반화 능력을 향상시킨다는 점을 입증했다.
• 맥락 인식 표현은 코드 커밋 내의 구문적 및 의미적 의존성을 효과적으로 포착하여 자연어 기술 설명과의 보다 나은 일치를 가능하게 했다.
• 모델는 강력한 전이 가능성과 함께, 코드 문서화나 이슈 요약과 같은 다른 코드-텍스트 생성 작업으로의 적응 잠재력을 보였다.
• 고품질 커밋 메시지 생성을 위해서는 고정 임베딩을 사용하는 것보다 동적으로 코드 맥락을 모델링하는 것이 핵심임을 결과가 입증했다.