[논문 리뷰] Learning and Evaluating Contextual Embedding of Source Code

Aditya Kanade, Petros Maniatis외 2명|arXiv (Cornell University)|2019. 12. 21.

Software Engineering Research인용 수 156

한 줄 요약

CuBERT는 대규모 중복 제거된 GitHub 말뭉치에서 Python 코드에 대한 맥락적 임베딩을 사전 학습하고, 다수의 코드 이해 태스크에서 강력한 미세 조정 성능을 보여 Word2Vec 베이스라인, BiLSTM, 그리고 처음부터 학습된 트랜스포머를 능가하며 데이터 효율적 학습을 달성한다.

ABSTRACT

Recent research has achieved impressive results on understanding and improving source code by building up on machine-learning techniques developed for natural languages. A significant advancement in natural-language understanding has come with the development of pre-trained contextual embeddings, such as BERT, which can be fine-tuned for downstream tasks with less labeled data and training budget, while achieving better accuracies. However, there is no attempt yet to obtain a high-quality contextual embedding of source code, and to evaluate it on multiple program-understanding tasks simultaneously; that is the gap that this paper aims to mitigate. Specifically, first, we curate a massive, deduplicated corpus of 7.4M Python files from GitHub, which we use to pre-train CuBERT, an open-sourced code-understanding BERT model; and, second, we create an open-sourced benchmark that comprises five classification tasks and one program-repair task, akin to code-understanding tasks proposed in the literature before. We fine-tune CuBERT on our benchmark tasks, and compare the resulting models to different variants of Word2Vec token embeddings, BiLSTM and Transformer models, as well as published state-of-the-art models, showing that CuBERT outperforms them all, even with shorter training, and with fewer labeled examples. Future work on source-code embedding can benefit from reusing our benchmark, and from comparing against CuBERT models as a strong baseline.

연구 동기 및 목표

• 소스 코드에 대한 맥락적 임베딩을 NLP의 BERT와 유사하게 사용하여 표현 학습을 개선하려는 동기 부여.
• CuBERT를 위한 대규모 중복 제거된 Python 코퍼스를 생성한다.
• 분류 및 프로그램 수정을 포괄하는 응집된 다중 태스크 Python 코드 벤치마크를 설계한다.
• 강력한 베이스라인(Word2Vec, BiLSTM, Transformer) 및 최첨단 방법과의 비교를 통해 CuBERT를 평가한다.
• 미래 연구 및 벤치마킹을 돕기 위해 모델과 데이터셋을 공개한다.

제안 방법

• Python 전용 토크나이제이션과 하위단어 어휘를 사용하는 중복 제거된 7.4M Python 파일 코퍼스(9.3B 토큰)에서 CuBERT를 사전 학습한다.
• CuBERT를 선형 코드 입력으로 간주하고 한 줄을 논리적 코드 줄로 간주하는 BERT 스타일 MLM 및 Next-Sentence Prediction 목표를 사용한다.
• 다섯 개의 분류 태스크와 하나의 포인터 기반 변수 오용 위치 찾기/수정 태스크에서 CuBERT를 미세 조정한다.
• CuBERT를 Word2Vec 기반 BiLSTM 및 처음부터 학습된 Transformer와 비교한다. 또한 공개된 최첨단 모델과의 비교를 수행한다.
• 데이터 효율성과 컨텍스트 효과를 평가하기 위해 다양한 예제 길이 및 미세 조정 데이터 예산으로 평가한다.
• 벤치마크 재사용을 위해 오픈 소스 코드와 데이터셋을 제공한다.

실험 결과

연구 질문

• RQ1 사전 학습된 비레이블드 코드에서 맥락적 임베딩이 소스 코드 분석의 성능을 향상시키는가?
• RQ2 Transformer 기반 모델의 미세 조정이 처음부터 학습하는 것보다 이점을 제공하는가?
• RQ3 제한된 태스크 특화 레이블 데이터에서 CuBERT의 성능은 어떻게 확장되는가?
• RQ4 콘텍스트 크기(예시 길이)가 코드 태스크에서 CuBERT의 성능에 어떤 영향을 미치는가?
• RQ5 CuBERT가 변수 오용 위치 찾기/수정과 같은 복합 태스크에서 이전 최첨단과 비교해 어떤 성능을 보이는가?

주요 결과

Model	Misuse	Operator	Operand	Docstring	Exception
BiLSTM From scratch	76.2927%	83.648163%	88.07047%	76.010776%	52.78638%
CBOW ns	80.32751%	86.81924%	89.797926%	89.075357%	67.008513%
CuBERT 2 epochs	94.042%	89.89658%	92.198956%	97.20764%	61.039084%
CuBERT 10 epochs	95.13968%	92.150164%	93.622464%	98.07754%	77.9702%
CuBERT 20 epochs	95.213145%	92.46354%	93.35517%	98.08504%	79.12152%
Transformer 100 epochs	78.28434%	76.554555%	87.82762%	91.017634%	49.56463%

• CuBERT는 모든 분류 태스크에서 최적의 Word2Vec 임베딩을 가진 BiLSTM을 지속적으로 능가하며 테스트 정확도에서 3.2%에서 14.7%까지 차이난다.
• CuBERT는 2~20개의 미세 조정 에포크만으로도 강력한 결과를 얻으며 전체 데이터 기반 베이스라인에 근접하거나 이를 능가한다.
• 태스크 데이터의 33%~100%를 미세 조정하는 경우에도 데이터 전체를 사용한 베이스라인 대비 경쟁력 있거나 우수한 성능을 보인다.
• CuBERT는 가변성 오용 위치 찾기/수정 태스크에서 최첨단 모델보다 현저히 우수한 성능을 보인다.
• 처음부터 학습된 트랜스포머에 비해 CuBERT(사전 학습+미세 조정)가 현저히 높은 정확도를 달성하여 코드 표현에 대한 사전 학습의 가치를 시사한다.
• 저자들은 향후 연구를 촉진하기 위한 오픈 소스 모델과 벤치마크를 제공한다.