[논문 리뷰] Unified Pre-training for Program Understanding and Generation

Wasi Uddin Ahmad, Saikat Chakraborty외 2명|arXiv (Cornell University)|2021. 03. 10.

Software Engineering Research참고 문헌 46인용 수 40

한 줄 요약

PLBART는 Java, Python 및 자연어 데이터에 대해 통합된 시퀀스-투-시퀀스 사전학습 모델로, 코드 요약, 생성, 번역 및 여러 구분 가능한 프로그램 이해 작업에서 최첨단 또는 경쟁력 있는 성과를 달성합니다.

ABSTRACT

Code summarization and generation empower conversion between programming language (PL) and natural language (NL), while code translation avails the migration of legacy code from one PL to another. This paper introduces PLBART, a sequence-to-sequence model capable of performing a broad spectrum of program and language understanding and generation tasks. PLBART is pre-trained on an extensive collection of Java and Python functions and associated NL text via denoising autoencoding. Experiments on code summarization in the English language, code generation, and code translation in seven programming languages show that PLBART outperforms or rivals state-of-the-art models. Moreover, experiments on discriminative tasks, e.g., program repair, clone detection, and vulnerable code detection, demonstrate PLBART's effectiveness in program understanding. Furthermore, analysis reveals that PLBART learns program syntax, style (e.g., identifier naming convention), logical flow (e.g., if block inside an else block is equivalent to else if block) that are crucial to program semantics and thus excels even with limited annotations.

연구 동기 및 목표

• 소프트웨어 엔지니어링을 위한 일반-purpose PL-NL 이해 및 생성 모델(PLUG 작업)을 동기 부여하고 이를 가능하게 한다.
• 라벨이 없는 PL 및 NL 데이터를 활용하여 노이즈 제거 자동인코딩을 통한 이전 가능한 표현을 학습한다.
• 자바, 파이썬 및 NL 데이터로 다국어 인코더-디코더 모델을 사전학습하여 다양한 다운스트림 작업을 지원한다.
• 사전학습된 모델이 생성, 번역 및 구분형 작업에서 작업별 기준선보다 우수하거나 이를 따라잡는다는 것을 보여 준다.

제안 방법

• 6개의 인코더 및 6개의 디코더 계층(768 숨겨진 유닛, 12 개의 어텐션 헤드)을 갖춘 BART-스타일 인코더-디코더 트랜스포머를 채택한다.
• 자바 함수와 파이썬 함수 및 StackOverflow NL 텍스트에 대해 토큰 마스킹, 토큰 삭제, 토큰 채움의 세 가지 노이징 전략으로 노이즈 제거 자동인코딩(denoising autoencoding)을 사용하여 사전학습한다.
• SentencePiece(50k 서브워드 단위) 및 다국어 수용을 가능하게 하는 언어 ID 토큰을 통해 토큰화를 수행한다.
• 사전학습 중 PL과 NL 데이터를 균형 있게 맞추기 위해 모달리티 간 데이터를 업샘플링/다운샘플링한다.
• 다국어 혼합 샘플링 스킴과 다항 분포 샘플링을 사용해 불균형 데이터를 처리하며, 멀티-GPU 구성에서 총 100K 사전학습 단계로 학습한다.
• 작업별 입력 및 추가된 언어 ID를 사용하여 시퀀스 생성(요약, 생성, 번역) 및 시퀀스 분류 작업에 대해 미세조정하고, 평가 신호로 BLEU, CodeBLEU, EM 및 정확도를 사용한다.

실험 결과

연구 질문

• RQ1 단일화된 PL-NL 사전학습 모델이 프로그래밍 언어와 자연어 모두에 대해 강력한 표현을 학습할 수 있는가?
• RQ2 노이즈 제거 사전학습이 코드 이해에 필수적인 프로그램 구문, 명명 규칙 및 데이터 흐름 의미를 포착하게 하는가?
• RQ3 특히 라벨이 제한된 데이터가 있는 언어에서 생성, 번역 및 구분형 프로그래밍 작업에서 단일 모델이 어떤 성능을 보이는가?
• RQ4 대규모 라벨이 없는 PL/NL 데이터로의 사전학습이 PLUG 작업에서 인코더 전용 또는 디코더 전용 기준선보다 향상을 제공하는가?

주요 결과

• PLBART는 여러 언어에 걸친 코드 요약, 코드 생성, 코드 번역에서 최첨단 기준선보다 우수하거나 이를 따라잡는다.
• PLBART는 프로그램 수리 및 취약점/복제 탐지와 같은 구분형 작업에서 강력한 성능을 보여 주어 견고한 프로그램 이해를 시사한다.
• 아블레이션 연구는 사전학습 중 PLBART가 구문 및 데이터 흐름 의미를 학습하는 능력을 보여 주어 제한된 라벨 데이터로도 효과적인 파인튜닝이 가능함을 시사한다.
• 정성적 분석은 PLBART가 프로그래밍 구성 요소, 명명 규칙 및 프로그램 시맨틱에 결정적인 데이터 흐름 패턴을 포착함을 나타낸다.
• Ruby(세트에서 훈련 예제가 가장 적은 언어)에서 PLBART는 상대적 이득이 가장 큰 것으로 나타나 통합된 사전학습 접근법으로부터 강한 일반화를 시사한다.