[논문 리뷰] CoTexT: Multi-task Learning with Code-Text Transformer

Long Phan, Hieu Tran외 5명|arXiv (Cornell University)|2021. 05. 18.

Software Engineering Research참고 문헌 20인용 수 7

한 줄 요약

CoTexT는 자연어와 프로그래밍어 간의 통합 표현을 학습하기 위해 대규모 이중모달(코드-텍스트) 및 단일모달(코드 전용) 프로그래밍 언어 코퍼스에서 사전 훈련된 인코더-디코더 트랜스포머 모델로, 자연어 및 코드 이해를 위한 다중 작업 학습을 가능하게 한다. CoTexT는 코드 요약, 코드 생성, 코드 정제, 결함 탐지의 네 가지 CodeXGLUE 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, CodeBERT 및 PLBART와 같은 모델들을 일관되게 능가한다. 특히 결함 탐지(+3.44%)와 BLEU, CodeBLEU, EM 메트릭에서의 코드 생성 작업에서 두드러진 성능 향상을 보였다.

ABSTRACT

We present CoTexT, a pre-trained, transformer-based encoder-decoder model that learns the representative context between natural language (NL) and programming language (PL). Using self-supervision, CoTexT is pre-trained on large programming language corpora to learn a general understanding of language and code. CoTexT supports downstream NL-PL tasks such as code summarizing/documentation, code generation, defect detection, and code debugging. We train CoTexT on different combinations of available PL corpus including both "bimodal" and "unimodal" data. Here, bimodal data is the combination of text and corresponding code snippets, whereas unimodal data is merely code snippets. We first evaluate CoTexT with multi-task learning: we perform Code Summarization on 6 different programming languages and Code Refinement on both small and medium size featured in the CodeXGLUE dataset. We further conduct extensive experiments to investigate CoTexT on other tasks within the CodeXGlue dataset, including Code Generation and Defect Detection. We consistently achieve SOTA results in these tasks, demonstrating the versatility of our models.

연구 동기 및 목표

• 자연어와 프로그래밍어 간의 공동 표현을 학습할 수 있는 통합 사전 훈련 모델을 개발하여 코드 지능 작업의 성능을 향상시키는 것.
• 사전 훈련 단계에서 이중모달(코드-텍스트 쌍) 및 단일모달(코드 전용) 데이터를 결합하는 것이 최종 코드 관련 NLP 작업 성능에 미치는 영향을 조사하는 것.
• 코드 요약, 코드 생성, 코드 정제, 결함 탐지와 같은 여러 CodeXGLUE 벤치마크 작업에서 최신 기술 수준 성능을 달성하는 것.
• 학습 데이터에 포함되지 않은 프로그래밍 언어(예: C)에 대해 모델의 일반화 능력을 입증하는 것.
• 향후 연구 및 모델 개선을 지원하기 위해 사전 훈련 체크포인트와 소스 코드를 공개하는 것.

제안 방법

• CoTexT는 멀티헤드 어텐션 메커니즘을 갖춘 T5 인코더-디코더 트랜스포머 아키텍처를 기반으로 하며, 마스킹 언어 모델링 및 노이즈 제거 오토인코더와 같은 자기지도 학습 목표를 사용해 사전 훈련된다.
• 모델은 서브워드 토크나이제이션에 SentencePiece를 사용하며, {, [, $ 등과 같은 어휘에 없는 코드 전용 기호는 의미 있는 자연어 표현으로 인코딩하여 특수 처리한다.
• 사전 훈련은 CodeSearchNet 및 GitHub 리포지토리에서 구성된 대규모 코퍼스를 사용하여 수행되며, 이중모달(코드 + 자연어) 및 단일모달(코드 전용) 데이터 조합을 모두 활용한다.
• 微조정은 네 가지 CodeXGLUE 작업(코드 요약(6개 언어), 코드 정제(소형/중형), 코드 생성, 결함 탐지)에서 T5 프레임워크를 사용하여 수행된다.
• 다양한 데이터 조합(예: 1-CCG, 2-CC)을 사용해 CoTexT의 여러 버전을 훈련하여 데이터 모odal의 성능에 미치는 영향을 평가한다.
• 수렴 속도 향상과 성능 향상을 위해 원본 T5 base 모델(학습 데이터로 C4 코퍼스 사용)에서 초기화된다.

실험 결과

연구 질문

• RQ1 통합 사전 훈련된 인코더-디코더 트랜스포머 모델이 자연어와 프로그래밍어 간의 공동 표현을 효과적으로 학습할 수 있는가?
• RQ2 이중모달 및 단일모달 훈련 데이터를 결합하면 다양한 코드 지능 작업의 성능에 어떤 영향을 미치는가?
• RQ3 다양한 프로그래밍 언어에서 사전 훈련된 모델이 저자원 언어 또는 학습 데이터에 포함되지 않은 언어(예: C)로의 일반화 능력은 어느 정도인가?
• RQ4 CoTexT를 사용한 다중 작업 학습이 코드 요약, 코드 생성, 코드 정제, 결함 탐지 작업 전반에서 일관된 성능 향상을 이끌어내는가?
• RQ5 CoTexT가 CodeBERT 및 PLBART와 같은 기존 최신 기술 수준 모델들을 여러 벤치마크에서 능가할 수 있는가?

주요 결과

• CoTexT는 코드 요약 작업에서 CodeXGLUE 벤치마크에서 최신 기술 수준 성능을 달성하였으며, 전체, 파이썬 전용, 자바 전용, 고 전용 BLEU-4 점수에서 이전 모델들을 모두 능가하였다.
• 코드 정제 작업에서는 소형 테스트 세트에서 모든 메트릭과 중형 테스트 세트에서 정확도에서 SOTA 성능을 기록하였으며, 기본 T5보다 뚜렷이 뛰어난 성능을 보였다.
• 코드 생성 작업에서는 정확도 매칭(20.10), BLEU(66.62), CodeBLEU(65.99)의 세 가지 메트릭 모두에서 SOTA 성능을 기록하였으며, CodeGPT-적응 및 PLBART를 모두 능가하였다.
• C 코드의 결함 탐지 작업에서 이전 SOTA 모델(PLBART) 대비 3.44% 향상된 성능을 기록하여, 학습 데이터에 포함되지 않은 언어로의 제로샷 일반화 능력이 뛰어나다는 것을 입증하였다.
• 다양한 프로그래밍 언어 전반에서 뛰어난 성능을 보였으며, 파이썬 및 자바와 같은 고자원 언어에서 두드러진 성능 향상을 보였고, 이는 훈련 데이터 증가에 따라 확장 가능한 것을 시사한다.
• 모든 평가된 작업에서 CoTexT의 성능가 일관되게 뛰어나, 다양한 코드 및 텍스트 데이터를 기반으로 한 다중 작업 학습 및 사전 훈련 전략의 효과성을 입증한다.