[논문 리뷰] SPT-Code: Sequence-to-Sequence Pre-Training for Learning Source Code Representations

Changan Niu, Chuanyi Li외 4명|arXiv (Cornell University)|2022. 01. 05.

Software Engineering Research인용 수 11

한 줄 요약

SPT-Code는 번역된 병렬 데이터가 필요 없이 세 가지 새로운 비지도 학습 작업—코드 재구성, AST 순회를 통한 코드 구조 모델링, 자연어 설명 예측—을 공동으로 사용하여 인코더와 디코더를 동시에 사전 훈련하는 시퀀스 투 시퀀스 사전 훈련 모델을 제안한다. 이 모델은 코드 요약, 코드 완성, 버그 수정 등 다섯 가지 코드 관련 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recent years have seen the successful application of large pre-trained models to code representation learning, resulting in substantial improvements on many code-related downstream tasks. But there are issues surrounding their application to SE tasks. First, the majority of the pre-trained models focus on pre-training only the encoder of the Transformer. For generation tasks that are addressed using models with the encoder-decoder architecture, however, there is no reason why the decoder should be left out during pre-training. Second, many existing pre-trained models, including state-of-the-art models such as T5-learning, simply reuse the pre-training tasks designed for natural languages. Moreover, to learn the natural language description of source code needed eventually for code-related tasks such as code summarization, existing pre-training tasks require a bilingual corpus composed of source code and the associated natural language description, which severely limits the amount of data for pre-training. To this end, we propose SPT-Code, a sequence-to-sequence pre-trained model for source code. In order to pre-train SPT-Code in a sequence-to-sequence manner and address the aforementioned weaknesses associated with existing pre-training tasks, we introduce three pre-training tasks that are specifically designed to enable SPT-Code to learn knowledge of source code, the corresponding code structure, as well as a natural language description of the code without relying on any bilingual corpus, and eventually exploit these three sources of information when it is applied to downstream tasks. Experimental results demonstrate that SPT-Code achieves state-of-the-art performance on five code-related downstream tasks after fine-tuning.

연구 동기 및 목표

• 기존 코드 사전 훈련 모델이 인코더만 사전 훈련하고 디코더는 최적화하지 않는 한계를 해결한다.
• 작은 병렬 코드-문서 설명 코퍼스에 의존하는 것에서 벗어나, 사전 훈련 중에 레이블이 붙은 자연어 설명이 필요 없는 사전 훈련 작업을 설계한다.
• 외부 감독 없이도 소스 코드의 구조(_AST를 통해_)와 자연어 의미를 함께 학습하여 코드 표현을 향상시킨다.
• 완전히 레이블이 없는 코드 데이터를 사용해 인코더-디코더 모델을 종단 간(end-to-end)으로 사전 훈련함으로써 소프트웨어 공학 작업의 성능을 향상시킨다.

제안 방법

• 세 가지 비지도 사전 훈련 작업 제안: (1) 마스킹 토큰 예측을 통한 코드 재구성, (2) 개선된 AST 순회 방법(X-SBT)을 활용한 코드 구조 모델링, (3) 코드 토큰을 입력으로 사용한 자연어 설명 예측.
• 소스 코드 토큰, AST 순회(비롯 X-SBT), 자연어 임베딩을 융합한 하이브리드 입력 표현을 설계하여 구조적 및 의미적 신호를 풍부하게 한다.
• 대규모 레이블이 없는 코드 코퍼스에서 시퀀스 투 시퀀스 Transformer 아키텍처를 사용해 인코더와 디코더를 종단 간으로 동시에 훈련한다.
• 사전 훈련 데이터셋으로 CodeSearchNet을 사용하며, 베이스라인과의 공정한 비교를 위해 중복 제거를 적용하지 않는다.
• 다섯 가지 다운스트림 작업—코드 요약, 코드 완성, 버그 수정(BFP), 코드 검색, 자바 코드 요약(JCSD)—에서 사전 훈련된 SPT-Code 모델을 미세 조정한다.
• 코드 구조를 순행 중 제어 흐름과 데이터 흐름 의미를 유지하는 데에 더 효과적인 X-SBT라는 향상된 AST 순회 방법을 도입한다.

실험 결과

연구 질문

• RQ1 인코더와 디코더를 동시에 사전 훈련하는 시퀀스 투 시퀀스 사전 훈련 모델이 코드 표현 학습에서 인코더 전용 모델보다 우수한 성능을 낼 수 있는가?
• RQ2 병렬 코드-문서 설명 쌍에 의존하지 않는 사전 훈련 작업이 여전히 코드의 자연어 설명을 효과적으로 학습할 수 있는가?
• RQ3 AST 구조와 자연어 신호를 통합할 경우 다운스트림 코드 작업 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 세 가지 사전 훈련 작업이 각각 다른 다운스트림 작업에서 모델 성능에 어떻게 기여하는가?
• RQ5 향상된 AST 순회 방법(X-SBT)이 표준 순회 기법보다 더 나은 코드 구조 모델링을 이룰 수 있는가?

주요 결과

• SPT-Code는 코드 요약(BLEU +0.88 SOTA 초과), 코드 완성(Acc@1 +0.03), 버그 수정(BFP 중간 +0.07 정확도)을 포함한 다섯 가지 다운스트림 코드 관련 작업에서 최신 기술 수준 성능을 달성한다.
• 제거 실험 결과, 세 가지 사전 훈련 작업 모두 긍정적인 기여를 하며, 특히 AST 기반 작업이 코드 구조 이해에 가장 강력한 영향을 미친다.
• AST와 자연어 입력 구성 요소를 모두 포함할 경우 성능 향상이著명하게 향상되며, 이는 구조적 신호와 의미적 신호의 상호보완적 이점이 있음을 시사한다.
• CodeSearchNet의 테스트 세트 중복 항목을 제거한 후에도 SPT-Code의 성능은 어떤 지표에서도 0.07 이내로 떨어지지 않아, 데이터 泄露 우려에 대해 강건함을 입증한다.
• AST 정보를 포함한 모델들(예: SPT-Code, GraphCodeBERT)은 단지 데이터 흐름이나 코드 토큰에 의존하는 모델보다 더 정확하고 난이도가 낮은 요약을 생성한다.
• X-SBT 순회 방법은 요약 품질과 구조 일관성 측면에서 표준 AST 순회 기법보다 뛰어난 성능을 보이며, 코드 구조를 더 잘 포착함을 입증한다.