[논문 리뷰] Pre-trained Contextual Embedding of Source Code

Aditya Kanade, Petros Maniatis외 2명|arXiv (Cornell University)|2019. 09. 25.

Software Engineering Research참고 문헌 28인용 수 41

한 줄 요약

이 논문은 GitHub에서 확보한 대규모 파이썬 프로그램 코퍼스를 기반으로 사전 훈련된 문맥 임베딩 모델인 Code Understanding BERT(CuBERT)를 소개한다. BERT의 자기주의 주의 메커니즘을 코드에 적응시킴으로써, CuBERT는 다섯 가지 분류 작업에서 최신 기술(SOTA) 성능을 달성하며, 기준 모델보다 2.9–22% 향상되었으며, 특히 미세조정 데이터와 에포크 수가 제한된 경우에 뛰어난 성능을 보였다.

ABSTRACT

The source code of a program not only serves as a formal description of an executable task, but it also serves to communicate developer intent in a human-readable form. To facilitate this, developers use meaningful identifier names and natural-language documentation. This makes it possible to successfully apply sequence-modeling approaches, shown to be effective in natural-language processing, to source code. A major advancement in natural-language understanding has been the use of pre-trained token embeddings; BERT and other works have further shown that pre-trained contextual embeddings can be extremely powerful and can be fine-tuned effectively for a variety of downstream supervised tasks. Inspired by these developments, we present the first attempt to replicate this success on source code. We curate a massive corpus of Python programs from GitHub to pre-train a BERT model, which we call Code Understanding BERT (CuBERT). We also pre-train Word2Vec embeddings on the same dataset. We create a benchmark of five classification tasks and compare fine-tuned CuBERT against sequence models trained with and without the Word2Vec embeddings. Our results show that CuBERT outperforms the baseline methods by a margin of 2.9-22%. We also show its superiority when fine-tuned with smaller datasets, and over fewer epochs. We further evaluate CuBERT's effectiveness on a joint classification, localization and repair task involving prediction of two pointers.

연구 동기 및 목표

• 사전 훈련된 문맥 임베딩이 자연어 처리에서 성공을 거둔 바가 있음을 바탕으로, 이를 소스 코드에 효과적으로 적용할 수 있는지 탐색한다.
• 소스 코드에서 문법적 및 의미적 정보를 효과적으로 포착하여 자연어 처리 스타일의 작업에 활용하는 데 도전한다.
• 의미 있는 식별자와 문서화와 같은 자연어 유사 패턴을 활용하여 표현 학습을 향상시키는 모델을 개발한다.
• 분류, 로컬라이제이션, 복구와 같은 다양한 코드 이해 작업에서 모델 성능을 평가한다.
• 대규모 소스 코드 코퍼스에 대한 사전 훈련이 코드 지능 응용 분야의 전이 학습에 효과적인지 입증한다.

제안 방법

• 실제 소스 코드를 기반으로 160만 개의 파이썬 파일로 구성된 대규모 코퍼스를 정제하여 모델 사전 훈련에 활용한다.
• 코드에 적합하게 조정된 마스크 언어 모델링 및 다음 문장 예측 목표를 활용해 BERT 기반 아키텍처를 미세조정한다.
• 기준 비교를 위해 동일한 데이터셋에 대해 사전 훈련된 Word2Vec 임베딩을 준비한다.
• 모델 성능 평가를 위해 다섯 가지 구분된 코드 분류 작업을 포함한 벤치마크를 설계한다.
• 제한된 레이블 데이터와 적은 훈련 에포크 수로 CuBERT를 미세조정하여 전이 학습을 적용한다.
• 분류, 코드 로컬라이제이션을 위한 포인터 예측, 복구 예측을 포함하는 통합 작업에서 CuBERT를 평가한다.

실험 결과

연구 질문

• RQ1 BERT와 같은 사전 훈련된 문맥 임베딩이 소스 코드 표현 학습에 효과적으로 적응될 수 있는가?
• RQ2 코드 분류 작업에서 Word2Vec 임베딩과 다른 시퀀스 모델을 사용한 기준 모델과 비교할 때 CuBERT의 성능은 어떠한가?
• RQ3 대규모 소스 코드에 대한 사전 훈련이 제한된 레이블 데이터로 하위 작업 성능 향상에 얼마나 기여하는가?
• RQ4 분류, 로컬라이제이션, 복구를 포함한 다중 작업 학습 환경에서 CuBERT가 효과적으로 일반화될 수 있는가?
• RQ5 적은 에포크 또는 작은 데이터셋으로 미세조정할 경우에도 CuBERT가 성능 우위를 유지하는가?

주요 결과

• CuBERT는 다섯 가지 분류 작업 전반에서 모든 기준 모델을 압도하며, F1 점수 향상 폭이 2.9%에서 22%에 이르렀다.
• 작은 데이터셋으로 미세조정된 경우에도 뛰어난 일반화 능력을 보이며, 사전 훈련의 효과가 뚜렷했다.
• 적은 훈련 에포크로도 우수한 성능를 기록하여, 미세조정 효율성이 뛰어나다는 점을 입증했다.
• 분류, 로컬라이제이션, 복구를 통합한 작업에서 강력한 성능을 보이며, 두 개의 포인터를 성공적으로 예측했다.
• 대규모 소스 코드 코퍼스에 대한 사전 훈련이 표현 품질을 크게 향상시켜, 그러한 사전 훈련이 없는 모델보다 뛰어난 성능을 보였다.
• 의미 있는 식별자와 문서화와 같은 자연어 유사 패턴의 통합이 이 접근 방식의 성공에 결정적인 역할을 했다.