[논문 리뷰] A Survey on Pretrained Language Models for Neural Code Intelligence

Yichen Xu, Yanqiao Zhu|arXiv (Cornell University)|2022. 12. 20.

Software Engineering Research인용 수 7

한 줄 요약

이 종합 검토는 신경 코드 지능(Neural Code Intelligence, NCI)를 위한 사전 훈련된 언어 모델에 대한 포괄적인 리뷰를 제공하며, 모델 아키텍처, 사전 훈련 기법, 하류 작업, 데이터셋 및 과제를 다룹니다. 이 모델들이 코드 요약, 생성 및 번역 분야에서 최고 수준의 성능을 보이며, 구조적 편향 통합 부족 및 프로젝트 수준의 코드 이해 부족 등의 핵심 격차를 드러내고 있습니다.

ABSTRACT

As the complexity of modern software continues to escalate, software engineering has become an increasingly daunting and error-prone endeavor. In recent years, the field of Neural Code Intelligence (NCI) has emerged as a promising solution, leveraging the power of deep learning techniques to tackle analytical tasks on source code with the goal of improving programming efficiency and minimizing human errors within the software industry. Pretrained language models have become a dominant force in NCI research, consistently delivering state-of-the-art results across a wide range of tasks, including code summarization, generation, and translation. In this paper, we present a comprehensive survey of the NCI domain, including a thorough review of pretraining techniques, tasks, datasets, and model architectures. We hope this paper will serve as a bridge between the natural language and programming language communities, offering insights for future research in this rapidly evolving field.

연구 동기 및 목표

• 사전 훈련된 언어 모델에 대한 연구를 통합함으로써 자연어 처리(NLP) 및 프로그래밍 언어 커뮤니티 간 격차를 메우기 위해.
• 신경 코드 지능에서 기존의 사전 훈련 기법, 모델 아키텍처 및 학습 패러다임을 체계적으로 분류하고 분석하기 위해.
• NCI 연구에서 사용되는 하류 작업 및 벤치마크 데이터셋을 검토하여 향후 모델 개발의 기반을 마련하기 위해.
• 실제 코드베이스에서 프로그램 구조, 런타임 의미론 및 모듈 간 의존성의 부족한 모델링과 같은 핵심 과제를 식별하기 위해.
• 기존 소프트웨어 공학 작업을 초월하여 수학 문제 해결 및 자동 코드 교육 도구와 같은 새로운 애플리케이션을 탐색하기 위해.

제안 방법

• 시퀀스 기반 언어 모델링 접근법에 중점을 두어 NCI 분야의 2212.10079 및 관련 연구에 대한 체계적 문헌 검토를 수행하기 위해.
• Transformer 및 그 변종을 포함한 모델 아키텍처를 분류하고 분석하기 위해.
• 대규모 코드 컬렉션(예: GitHub)에서 사용된 마스킹 언어 모델링 및 인과 언어 모델링과 같은 사전 훈련 목표를 검토하기 위해.
• 코드 요약, 코드 생성, 코드 번역 및 결함 탐지와 같은 하류 작업을 그에 해당하는 데이터셋과 평가 지표에 매핑하기 위해.
• 모델 성능 향상에 기여하는 구조적 정보(예: AST, 제어/데이터 흐름)의 역할을 평가하며, 이러한 편향을 통합하는 데 현재의 한계를 기록하기 위해.
• 특히 정리 증명과 같은 복잡한 작업에서 프로그램 이해 및 합성 향상을 위해 런타임 의미론과 실행 트레이스를 활용할 잠재력을 논의하기 위해.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델은 코드 요약 및 생성과 같은 핵심 NCI 작업에서 성능을 어떻게 향상시키는가?
• RQ2 최고 수준의 코드 언어 모델에서 주로 사용되는 주요 모델 아키텍처와 사전 훈련 전략은 무엇인가?
• RQ3 현재 모델들은 토큰 수준의 시퀀스를 초월해 프로그램의 구조적 또는 의미론적 정보를 어느 정도 통합하고 있는가?
• RQ4 상호 모듈 의존성이 있는 실제 다중 파일 소프트웨어 프로젝트에 NCI 모델을 확장하는 데 있어 주요 제약은 무엇인가?
• RQ5 기존 소프트웨어 공학 작업을 초월하여 코드 언어 모델이 활용되는 새로운 응용 분야는 무엇이 있는가?

주요 결과

• 사전 훈련된 언어 모델은 코드 요약, 생성 및 번역과 같은 다양한 NCI 작업에서 최고 수준의 성능을 달성했다.
• Codex와 같은 모델들은 프로그램 합성 능력을 뛰어나게 보이며, GitHub Copilot와 같은 도구 및 수학 단어 문제, 올림피아드 수준의 정리 증명과 같은 복잡한 문제 해결에 기여하고 있다.
• 진전이 있음에도 불구하고 대부분의 모델들은 여전히 프로그램 구조(예: AST)나 런타임 의미론을 효과적으로 통합하지 못해 복잡한 코드베이스에서 일반화 능력이 제한되어 있다.
• 현재 모델들은 주로 고립된 코드 스니펫에서 훈련되기 때문에, 파일 간 또는 프로젝트 수준의 의존성을 모델링하기 어려우며, 이는 실제 소프트웨어 개발에 필수적이다.
• 코드 언어 모델은 기존 NLP 작업을 초월해 자동 정리 증명(GPT-f), 교육(강의 자료 생성), 로봇 작업 계획 등에 성공적으로 적용되고 있다.
• 윤리적 문제들은 해결되지 않은 채 남아 있으며, 특히 라이선스 및 기여자 권리에 대한 고려 없이 오픈소스 코드를 훈련에 사용하는 데 문제가 있다.