[논문 리뷰] Large Language Models Meet NL2Code: A Survey

Daoguang Zan, Bei Chen외 6명|arXiv (Cornell University)|2022. 12. 19.

Software Engineering Research인용 수 4

한 줄 요약

이 종합 검토는 자연어에서 코드로의 변환(NL2Code)을 위한 27개의 대규모 언어 모델(LLM)에 대한 포괄적인 분석을 제공하며, 성공의 핵심 요소로 '대규모 모델, 고급 데이터, 전문가 수준의 튜닝'을 규명한다. 이 연구는 HumanEval 벤치마크에서 모델 성능을 평가하고, 벤치마크 및 평가 지표를 검토하며, 이 분야의 발전을 추적하기 위해 공동체가 유지하는 웹사이트를 소개한다.

ABSTRACT

The task of generating code from a natural language description, or NL2Code, is considered a pressing and significant challenge in code intelligence. Thanks to the rapid development of pre-training techniques, surging large language models are being proposed for code, sparking the advances in NL2Code. To facilitate further research and applications in this field, in this paper, we present a comprehensive survey of 27 existing large language models for NL2Code, and also review benchmarks and metrics. We provide an intuitive comparison of all existing models on the HumanEval benchmark. Through in-depth observation and analysis, we provide some insights and conclude that the key factors contributing to the success of large language models for NL2Code are "Large Size, Premium Data, Expert Tuning". In addition, we discuss challenges and opportunities regarding the gap between models and humans. We also create a website https://nl2code.github.io to track the latest progress through crowd-sourcing. To the best of our knowledge, this is the first survey of large language models for NL2Code, and we believe it will contribute to the ongoing development of the field.

연구 동기 및 목표

• NL2Code 작업에 특화된 27개의 대규모 언어 모델에 대한 체계적인 종합 검토를 제공하기 위해.
• 이러한 모델들이 HumanEval 벤치마크에서 보이는 성능을 분석하고 핵심 성공 요인을 규명하기 위해.
• NL2Code를 위한 기존의 벤치마크 및 평가 지표를 검토하며, 그 격차와 한계를 밝혀내기 위해.
• LLM과 인간 프로그래머 간의 코드 생성 품질과 추론 능력에서의 격차를 탐색하기 위해.
• 실시간 성과 추적과 협업 업데이트를 촉진하기 위해 공동체 기반의 웹사이트(nl2code.github.io)를 구축하기 위해.

제안 방법

• 저자들은 대규모 코드 코퍼스를 기반으로 훈련된 최신 27개의 LLM에 대한 종합적인 조사를 수행하였다.
• 모든 모델을 표준화된 지표인 pass@1 및 pass@10를 사용하여 HumanEval 벤치마크에서 평가하였다.
• 모델 아키텍처, 훈련 데이터 품질, 하이퍼파라미터 튜닝, 추론 전략에 대한 깊이 있는 분석을 수행하였다.
• 모델 크기, 토크나이저 유형, 최적화 알고리즘, 학습률, 정밀도 형식 등의 차원에서 모델들을 비교하였다.
• 모델 크기, 디코더 유형, 토크나이저, 최적화 알고리즘, 훈련 하이퍼파라미터 등의 세부 정보를 요약한 구조화된 비교 표를 제작하였다.
• 모델 성능 및 신규 출시 정보의 공동체 기반 추적을 지원하기 위해 전용 웹사이트(nl2code.github.io)를 구축하였다.

실험 결과

연구 질문

• RQ1 LLM의 NL2Code 성공에 기여하는 주요 아키텍처 및 훈련 특성은 무엇인가?
• RQ2 다양한 LLM이 HumanEval과 같은 표준화된 벤치마크에서 어떻게 성능을 내며, 성능 격차를 설명하는 요인은 무엇인가?
• RQ3 NL2Code를 위한 기존의 벤치마크 및 평가 지표에서 현재 존재하는 한계와 격차는 무엇인가?
• RQ4 LLM은 코드 생성 품질과 추론 능력 측면에서 인간 프로그래머와 비교해 어떻게 성과를 내는가?
• RQ5 현재 LLM의 능력을 고려할 때, NL2Code 분야의 향후 연구에서 가장 유망한 방향은 무엇인가?

주요 결과

• NL2Code 분야에서 상위 성능을 내는 LLM은 HumanEval 벤치마크에서 pass@1 점수 70% 이상을 기록하며, 특히 Codex는 72.31%의 성능을 보였다.
• LLM의 NL2Code 성공은 주로 '대규모 모델, 고급 데이터, 전문가 수준의 튜닝'에 기인하며, 이는 모델 규모, 고품질 훈련 데이터, 철저한 하이퍼파라미터 튜닝이 핵심 요소임을 시사한다.
• CodeGen, InCoder, SantaCoder와 같은 모델들은 특히 코드 완성 및 중간 채우기 작업에서 강력한 zero-shot 일반화 능력을 보였다.
• 고품질의 중복 제거된 코드 코퍼스와 고급 토크나이저(예: BBPE, SentencePiece)의 사용은 모델 성능 향상에 크게 기여한다.
• 강력한 성능에도 불구하고, 복잡한 다단계 프로그래밍 작업 및 모호성 속에서의 추론 능력 측면에서 LLM과 인간 프로그래머 사이에 여전히 뚜렷한 격차가 존재한다.
• 이 조사에서는 표준화되고 다국어를 고려한 벤치마크의 부족을 지적하며, 대부분의 기존 벤치마크가 좁은 범위의 파이썬에 집중하고 있어 더 넓은 평가 프레임워크가 필요하다고 강조한다.