[논문 리뷰] CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation

Yue Wang, Weishi Wang외 2명|arXiv (Cornell University)|2021. 09. 02.

Software Engineering Research참고 문헌 27인용 수 23

한 줄 요약

CodeT5는 코드와 자연어 쌍으로 사전 훈련된 통합 인코더-디코더 트랜스포머 모델로, 식별자 인식 마스킹과 이중 모odal 생성을 도입하여 코드 이해 및 생성 능력을 향상시킨다. 이는 14개의 CodeXGLUE 작업 전반에서 최신 기준 성능을 달성하며, 코드 결함 검출 및 요약 작업에서 이전 방법들을 크게 앞서 간다.

ABSTRACT

Pre-trained models for Natural Languages (NL) like BERT and GPT have been recently shown to transfer well to Programming Languages (PL) and largely benefit a broad set of code-related tasks. Despite their success, most current methods either rely on an encoder-only (or decoder-only) pre-training that is suboptimal for generation (resp. understanding) tasks or process the code snippet in the same way as NL, neglecting the special characteristics of PL such as token types. We present CodeT5, a unified pre-trained encoder-decoder Transformer model that better leverages the code semantics conveyed from the developer-assigned identifiers. Our model employs a unified framework to seamlessly support both code understanding and generation tasks and allows for multi-task learning. Besides, we propose a novel identifier-aware pre-training task that enables the model to distinguish which code tokens are identifiers and to recover them when they are masked. Furthermore, we propose to exploit the user-written code comments with a bimodal dual generation task for better NL-PL alignment. Comprehensive experiments show that CodeT5 significantly outperforms prior methods on understanding tasks such as code defect detection and clone detection, and generation tasks across various directions including PL-NL, NL-PL, and PL-PL. Further analysis reveals that our model can better capture semantic information from code. Our code and pre-trained models are released at https: //github.com/salesforce/CodeT5 .

연구 동기 및 목표

• 코드 관련 작업에서 인코더 전용 또는 디코더 전용 모델의 한계를 해결하기 위해 통합 인코더-디코더 프레임워크를 제안한다.
• 개발자가 할당한 식별자를 핵심 의미 신호로 명시적으로 모델링하여 코드 표현을 향상시킨다.
• 이중 생성 사전 훈련 목표를 통해 자연어 주석과 코드 간의 교차 모odal 정렬을 향상시킨다.
• 단일 통합 모델 아키텍처 내에서 코드 이해 및 코드 생성 작업을 모두 지원한다.
• 다양한 코드 지능 작업 간 일반화를 향상시키기 위해 작업별 프롬프트를 사용한 다중 작업 미세 조정을 가능하게 한다.

제안 방법

• 코드 이해 및 생성을 위한 통합 인코더-디코더 프레임워크로 T5 아키텍처를 활용한다.
• 기존 토큰 유형과 별도로 식별자만 별도로 마스킹하고 재구성하는 새로운 식별자 인식 사전 훈련 목표를 도입한다.
• 코드-주석 쌍을 사용해 NL→PL 및 PL→NL 생성을 동시에 사전 훈련하기 위한 이중 모달 이중 생성 작업을 활용한다.
• CodeSearchNet과 GitHub에서 확보한 추가 C/C# 코드를 사용해 단일 모달 및 이중 모달 데이터를 모두 활용해 사전 훈련한다.
• 다양한 CodeXGLUE 작업에 대해 작업 제어 코드를 입력 프롬프트로 사용해 다중 작업 미세 조정을 수행한다.
• 사전 훈련 중 통합 시퀀스-투-시퀀스 노이즈 제거 목표를 사용해 최종 작업에 대한 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합 인코더-디코더 모델이 코드 이해 및 생성 작업 모두에서 전용 인코더 또는 디코더 모델보다 뛰어난 성능을 내는가?
• RQ2 사전 훈련 중에 오직 식별자만 마스킹하는 것이 표준 마스킹과 비교해 코드 표현 학습에 유의미한 향상을 이끌는가?
• RQ3 NL→PL 및 PL→NL 생성을 동시에 사전 훈련하면 교차 모달 정렬 및 코드 요약 및 번역 작업 성능 향상에 기여하는가?
• RQ4 작업별 프롬프트를 사용한 다중 작업 미세 조정이 다양한 코드 지능 작업 간 일반화에 미치는 영향은 어떠한가?
• RQ5 식별자 인식 사전 훈련이 다양한 프로그래밍 언어에서 코드 의미 이해 능력을 얼마나 향상시키는가?

주요 결과

• CodeT5는 CodeXGLUE 벤치마크의 14개 하위 작업 전부에서 최신 기준 성능을 달성하며, 코드 이해 및 생성 작업 모두에서 이전 방법들을 뛰어넘는 성능을 보였다.
• 식별자 인식 사전 훈련 목표는 코드 결함 검출 및 클론 검출 작업에서 성능 향상을 크게 이끌어내어 더 나은 의미 이해 능력을 보여준다.
• 이중 모달 이중 생성 사전 훈련 작업은 코드 요약 및 코드 번역과 같은 NL-PL 및 PL-NL 작업에서 상당한 성능 향상을 이끌어냈다.
• 작업 제어 코드를 사용한 다중 작업 미세 조정은 다양한 코드 지능 작업 간 제로샷 일반화 능력과 성능 향상을 향상시켰다.
• 220M 파라미터를 가진 CodeT5-base는 120억 파라미터를 가진 Codex와 유사한 성능을 달성하여 높은 효율성과 효과성을 입증했다.