[논문 리뷰] SynCoBERT: Syntax-Guided Multi-Modal Contrastive Pre-Training for Code Representation

Xin Wang, Yasheng Wang외 8명|arXiv (Cornell University)|2021. 08. 10.

Natural Language Processing Techniques참고 문헌 46인용 수 70

한 줄 요약

SynCoBERT는 구문 가이드 목표(Identifier Prediction 및 AST Edge Prediction)와 코드, 주석, AST에서 코드 표현을 학습하기 위한 다중 모달 대조 학습 프레임워크를 도입하여 같은 사전 학습 코퍼스와 모델 크기로 네 가지 코드 인텔리전스 작업에서 최첨단 성능을 달성합니다.

ABSTRACT

Code representation learning, which aims to encode the semantics of source code into distributed vectors, plays an important role in recent deep-learning-based models for code intelligence. Recently, many pre-trained language models for source code (e.g., CuBERT and CodeBERT) have been proposed to model the context of code and serve as a basis for downstream code intelligence tasks such as code search, code clone detection, and program translation. Current approaches typically consider the source code as a plain sequence of tokens, or inject the structure information (e.g., AST and data-flow) into the sequential model pre-training. To further explore the properties of programming languages, this paper proposes SynCoBERT, a syntax-guided multi-modal contrastive pre-training approach for better code representations. Specially, we design two novel pre-training objectives originating from the symbolic and syntactic properties of source code, i.e., Identifier Prediction (IP) and AST Edge Prediction (TEP), which are designed to predict identifiers, and edges between two nodes of AST, respectively. Meanwhile, to exploit the complementary information in semantically equivalent modalities (i.e., code, comment, AST) of the code, we propose a multi-modal contrastive learning strategy to maximize the mutual information among different modalities. Extensive experiments on four downstream tasks related to code intelligence show that SynCoBERT advances the state-of-the-art with the same pre-training corpus and model size.

연구 동기 및 목표

• 프로그래밍 언어의 기호적 및 구문적 특성을 활용하여 향상된 코드 표현을 유도한다.
• 코드, 주석, 및 AST를 포함한 다중 모달리티를 도입하여 코드 의미론에 대한 상보적 정보를 포착한다.
• 식별자 인코딩을 위한 Identifier Prediction(IP)과 AST 간선 예측(AST Edge Prediction) 두 가지 새로운 사전 학습 목표를 설계한다.
• 모달리티 간 상호 정보를 최대화하기 위한 다중 모달 대조 학습 메커니즘을 도입한다.
• 동일한 사전 학습 코퍼스와 모델 크기를 사용하여 주요 코드 인텔리전스 작업에서 최고 성능을 시연한다.

제안 방법

• 코드, 주석, 및 AST 표현으로 사전 학습된 12-레이어 Transformer 인코더인 SynCoBERT를 제안한다.
• NL, PL, 및 AST 전반의 마스킹된 토큰을 예측하기 위해 다중 모달 마스크드 언어 모델링(MMLM)을 사용한다.
• 각 코드 토큰을 식별자 또는 비식별자로 분류하기 위한 Identifier Prediction(IP)을 도입한다.
• AST 노드 쌍 간 간선의 존재 여부를 예측하기 위한 AST Edge Prediction(TEP)을 도입한다.
• 코드, 주석, AST 모달리티 간 상호 정보를 최대화하기 위해 Multi-Modal Contrastive Learning(MCL) 목표를 적용하며, 페어(NL-PL-AST) 데이터와 비페어 데이터를 사용하고 배치 내 및 배치 간 음의 샘플링을 수행한다.
• 전체 사전 학습 목표를 MMLM, IP, TEP, MCL의 조합과 L2 정규화를 더한 것으로 집계한다.

실험 결과

연구 질문

• RQ1 구문 가이드 목표(IP 및 TEP)가 기존 MLM 기반 사전 학습을 넘어 코드 표현을 개선할 수 있는가?
• RQ2 대조 학습과 함께 다중 모달 정보(코드, 주석, AST)를 활용하면 작업 간에 더 일반화 가능한 코드 표현을 얻을 수 있는가?
• RQ3 동일한 사전 학습 설정을 사용하여 코드 검색, 코드 클론 탐지, 결함 탐지, 프로그램 번역 등 다양한 코드 인텔리전스 작업에서 SynCoBERT의 성능은 어떠한가?

주요 결과

• SynCoBERT는 동일한 사전 학습 코퍼스와 모델 크기를 사용하여 다수의 코드 인텔리전스 작업에서 최첨단 성능을 달성한다.
• IP 및 TEP 목표가 성능 향상에 기여하며, 코드의 기호적 및 구문적 특성을 활용하는 가치를 보여준다.
• 다중 모달 대조 학습(MCL)이 상당한 향상을 제공하며, 코드 표현을 위한 모달 간 상호 정보의 이점을 강조한다.
• SynCoBERT는 CodeBERT 및 GraphCodeBERT와 같은 강력한 베이스라인과 비교하여 자연어 코드 검색, 코드 클론 탐지, 코드 결함 탐지 및 프로그램 번역을 향상시킨다.
• 소거 결과는 IP, TEP 또는 MCL을 제거하면 성능이 저하되며, 특히 코드 검색에서 MCL의 영향이 두드러짐을 보여준다.
• 학습 중 보지 못한 언어로 일반화하며(예: C#/Java 번역), 학습된 구문 지식 덕분이다.