[논문 리뷰] Using Transfer Learning for Code-Related Tasks

Antonio Mastropaolo, Nathan Cooper외 5명|arXiv (Cornell University)|2022. 06. 17.

Software Engineering Research인용 수 5

한 줄 요약

이 논문은 T5 모델을 사용한 전이 학습을 자동 버그 수정, 멀티언트 주입, 어세트 문장 생성, 코드 요약과 같은 네 가지 코드 관련 작업에 대해 조사하며, 사전 훈련이 성능을 크게 향상시킨다는 것을 입증하지만, 다중 작업 미세 조정은 모든 작업에서 일관되게 성능 향상을 가져오지 못한다는 것을 보여준다.

ABSTRACT

Deep learning (DL) techniques have been used to support several code-related tasks such as code summarization and bug-fixing. In particular, pre-trained transformer models are on the rise, also thanks to the excellent results they achieved in Natural Language Processing (NLP) tasks. The basic idea behind these models is to first pre-train them on a generic dataset using a self-supervised task (e.g, filling masked words in sentences). Then, these models are fine-tuned to support specific tasks of interest (e.g, language translation). A single model can be fine-tuned to support multiple tasks, possibly exploiting the benefits of transfer learning. This means that knowledge acquired to solve a specific task (e.g, language translation) can be useful to boost performance on another task (e.g, sentiment classification). While the benefits of transfer learning have been widely studied in NLP, limited empirical evidence is available when it comes to code-related tasks. In this paper, we assess the performance of the Text-To-Text Transfer Transformer (T5) model in supporting four different code-related tasks: (i) automatic bug-fixing, (ii) injection of code mutants, (iii) generation of assert statements, and (iv) code summarization. We pay particular attention in studying the role played by pre-training and multi-task fine-tuning on the model's performance. We show that (i) the T5 can achieve better performance as compared to state-of-the-art baselines; and (ii) while pre-training helps the model, not all tasks benefit from a multi-task fine-tuning.

연구 동기 및 목표

• 다양한 코드 관련 작업에 대해 T5 모델을 통한 전이 학습의 효과를 평가하기 위해.
• 대규모 코드 및 텍스트 데이터셋에서의 사전 훈련이 하류 코드 작업에서의 성능 향상에 기여하는지 평가하기 위해.
• 다양한 코드 작업 간의 다중 작업 미세 조정이 모델의 일반화 능력과 성능 향상에 기여하는지 조사하기 위해.
• 레벤슈타인 거리 상관관계를 통해 훈련 세트와 테스트 세트 간의 데이터 泄露 위험을 분석하기 위해.
• 네 가지 다른 코드 관련 NLP 작업에서 T5의 성능을 기존 최첨단 기준 모델들과 비교하기 위해.

제안 방법

• 자기 준수 마스킹 언어 모델링 목적을 사용하여 499,618개의 영어 문장과 1,569,889개의 자바 메서드로 구성된 통합 데이터셋에서 T5 모델을 사전 훈련하였다.
• 사전 훈련된 T5 모델을 네 가지 다른 코드 관련 작업—버그 수정, 멀티언트 주입, 어세트 생성, 코드 요약—에 대해 미세 조정하였다.
• 모든 네 데이터셋을 동시에 훈련하여 이질적인 데이터 유형 간의 전이 가능성 평가를 위해 다중 작업 미세 조정을 적용하였다.
• 데이터 스noop을 탐지하고 모델의 일반화 능력을 평가하기 위해 훈련 세트와 테스트 세트 간의 쌍별 레벤슈타인 거리를 계산하였다.
• 포인트 이분열 상관계수(PBC)와 피어슨 상관계수를 사용하여 훈련-테스트 유사성과 모델 성능 간의 관계를 분석하였다.
• BLEU 점수와 완전 예측 정확도를 사용하여 모델 성능을 평가하였으며, 기존 최첨단 기준 모델들과의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 대규모 코드 및 자연어 데이터셋에서 T5 모델을 사전 훈련하면 하류 코드 관련 작업에서 성능 향상이 이루어지는가?
• RQ2 다양한 코드 작업(예: 원시 코드 대비 추상화된 코드 대비 자연어) 간의 다중 작업 미세 조정이 모델 성능 향상에 어느 정도 영향을 미치는가?
• RQ3 훈련 세트와 테스트 세트 간의 데이터 오버랩이 모델 성능에 어떤 영향을 미치며, 모델의 성공은 데이터 泄露 때문인가, 일반화 능력 때문인가?
• RQ4 네 가지 다른 코드 관련 작업에서 T5 모델의 성능은 기존 최첨단 딥 러닝 모델들과 비교해 어떻게 되는가?
• RQ5 다중 작업 학습이 특정 작업 유형에서 측정 가능한 이점을 제공하는가, 아니면 모든 작업에서 성능 향상이 일관되지 않은가?

주요 결과

• 사전 훈련은 네 가지 코드 관련 작업 전반에서 모델 성능을 크게 향상시키며, 코드 표현 학습을 위한 사전 훈련의 가치를 확인한다.
• 다중 작업 미세 조정은 성능 향상이 일관되게 이루어지지 않으며, 이는 원시 코드, 추상화된 코드, 자연어 등 서로 다른 데이터 유형 간의 지식 전이를 방해할 수 있음을 시사한다.
• T5 모델은 사전 훈련을 하지 않거나 약 22시간의 추가 사전 훈련 계산을 요구하는 기존 최첨단 기준 모델들보다 네 가지 작업 전반에서 뛰어난 성능을 보였다.
• 상관계수 분석 결과, 훈련-테스트 레벤슈타인 거리와 성능 간에 낮은 정도의 음의 상관관계가 관찰되어 데이터 泄露가 최소이며 강력한 일반화 능력을 보임을 시사한다.
• 훈련 예제와 테스트 예제 간의 최소 거리와 중앙값이 증가할수록 모델 성능이 떨어지며, 분포 이탈에 민감함을 시사한다.
• 완전 예측의 경우 최대 거리와 성능 간에 양의 상관관계가 관찰되었지만, 이는 이상치 또는 희귀 테스트 케이스 때문일 수 있으며, 전반적으로 상관계수는 낮아 모델의 강건성을 뒷받침한다.