[논문 리뷰] A Survey of Neural Code Intelligence: Paradigms, Advances and Beyond

Qiushi Sun, Zhirui Chen외 16명|arXiv (Cornell University)|2024. 03. 21.

Machine Learning in Bioinformatics인용 수 5

한 줄 요약

이 설문은 신경 코드 인텔리전스의 진화를 세 가지 단계—코드를 위한 신경 언어 모델, CodePTMs, CodeLLMs—를 통해 체계적으로 검토하며, 작업, 벤치마크, 도메인 간 시너지 및 향후 방향을 다룬다.

ABSTRACT

Neural Code Intelligence -- leveraging deep learning to understand, generate, and optimize code -- holds immense potential for transformative impacts on the whole society. Bridging the gap between Natural Language and Programming Language, this domain has drawn significant attention from researchers in both research communities over the past few years. This survey presents a systematic and chronological review of the advancements in code intelligence, encompassing over 50 representative models and their variants, more than 20 categories of tasks, and an extensive coverage of over 680 related works. We follow the historical progression to trace the paradigm shifts across different research phases (e.g., from modeling code with recurrent neural networks to the era of Large Language Models). Concurrently, we highlight the major technical transitions in models, tasks, and evaluations spanning through different stages. For applications, we also observe a co-evolving shift. It spans from initial endeavors to tackling specific scenarios, through exploring a diverse array of tasks during its rapid expansion, to currently focusing on tackling increasingly complex and varied real-world challenges. Building on our examination of the developmental trajectories, we further investigate the emerging synergies between code intelligence and broader machine intelligence, uncovering new cross-domain opportunities and illustrating the substantial influence of code intelligence across various domains. Finally, we delve into both the opportunities and challenges associated with this field, alongside elucidating our insights on the most promising research directions. An ongoing, dynamically updated project and resources associated with this survey have been released at https://github.com/QiushiSun/Awesome-Code-Intelligence.

연구 동기 및 목표

• 신경 코드 인텔리전스의 역사적 진행과 패러다임 전환을 단계 간에 추적한다.
• 코드 관련 작업과 벤치마크를 체계적 분석을 위한 일관된 범주로 분류한다.
• 핵심 모델 아키텍처, 학습 목표, 코드 구조(구문 트리(ASTs), 데이터 흐름, 제어 흐름) 역할을 요약한다.
• 응용, 도메인 간 시너지, 그리고 실용적 과제를 논의하여 향후 연구 방향을 가이드한다.

제안 방법

• 50개 이상의 대표 모델과 680편이 넘는 관련 연구를 체계적이고 연대기적으로 검토한다.
• 모델을 세 시대로 정리한다: 코드를 위한 신경 언어 모델, 코드 사전 학습 모델(CodePTMs), CodeLLMs.
• 구조적 코드 정보에 중점을 두고 아키텍처 선택, 학습 데이터, 목표를 분석한다.
• 20개 이상의 범주에 걸친 광범위한 코드 관련 작업과 벤치마크를 분류하고 요약한다.
• 도메인 간 통합과 실제 애플리케이션 및 평가에 대한 시사점을 논의한다.
• 향후 연구를 위한 미해결 이슈와 유망한 방향을 식별한다.

Figure 1 : Cumulative number of publications/preprints related to neural code intelligence (from arXiv). Over the past few years, the number of articles has been steadily increasing.

실험 결과

연구 질문

• RQ1 신경 코드 인텔리전스가 초기의 신경 LM에서 CodePTMs, CodeLLMs로 가며 어떤 주요 패러다임 전환이 일어났는가?
• RQ2 CodePTMs는 성능, 데이터 필요성, 작업 범위 측면에서 대형 언어 모델과 어떻게 비교되는가?
• RQ3 코드 인텔리전스를 주도하는 핵심 벤치마크와 작업은 무엇이며 세대 간 어떻게 진화하는가?
• RQ4 코드 인텔리전스를 더 넓은 기계 지능 및 실제 세계 애플리케이션과 통합할 때 생기는 도메인 간 기회와 도전은 무엇인가?

주요 결과

• 세 가지 점진적 단계가 발전을 견인했다: 코드용 신경 언어 모델, 코드 사전 학습 모델, CodeLLMs.
• CodeBERT, CodeT5와 같은 CodePTMs가 코드의 선사 학습/미세 조정 패러다임을 확립했다.
• CodeLLMs은 프롬프트 및 맥락 학습으로의 전환을 보이며 코드 전용 작업을 넘어 실제 세계 시나리오로 확장하고 있다.
• 20개 이상의 범주로 구성된 다양한 작업과 수천 개의 데이터셋에 기반해 이 분야의 진보가 뒷받침된다.
• 도메인 간 시너지와 실제 세계의 도전이 코드 인텔리전스의 향후 방향을 형성한다.

Figure 2 : A chronological overview of representative works in neural code intelligence over recent years. Works are differentiated by background colors to represent distinct evolutionary phases: ${\color[rgb]{1,0.88671875,0.58203125}\definecolor[named]{pgfstrokecolor}{rgb}{1,0.88671875,0.58203125}\