[논문 리뷰] CodeGemma: Open Code Models Based on Gemma

CodeGemma Team, Zhao, Heri외 25명|arXiv (Cornell University)|2024. 06. 17.

Model-Driven Software Engineering Techniques인용 수 18

한 줄 요약

CodeGemma는 Gemma를 기반으로 한 오픈 코드 모델을 도입하며, 빠른 2B 인필링 모델과 강력한 코딩 및 추론 능력을 갖춘 7B 사전학습/지시-조정형 변형을 특징으로 합니다.

ABSTRACT

This paper introduces CodeGemma, a collection of specialized open code models built on top of Gemma, capable of a variety of code and natural language generation tasks. We release three model variants. CodeGemma 7B pretrained (PT) and instruction-tuned (IT) variants have remarkably resilient natural language understanding, excel in mathematical reasoning, and match code capabilities of other open models. CodeGemma 2B is a state-of-the-art code completion model designed for fast code infilling and open-ended generation in latency-sensitive settings.

연구 동기 및 목표

• Google DeepMind의 Gemma 모델을 기반으로 오픈 코드 모델링을 진전시킨다.
• 대규모 코드 중심 말뭉치를 대상으로 표적 전처리와 데이터 선별로 학습한다.
• 다양한 작업에서 인필링, 코드 생성, 자연어 이해를 평가한다.
• 지연 민감하고 호스팅된 환경에 대한 실용적인 배포 지침을 제공한다.

제안 방법

• Gemma 사전학습 모델을 코드, 영어 텍스트 및 수학에 중점을 둔 500–1000B 토큰 말뭉치로 확장한다.
• 대부분의 모델에서 중간 채우기(FIM) 목표를 사용해 사전 학습하며 FIM 비율은 80%(2B v1.1의 경우 90%)이다.
• 전용 포맷 토큰으로 PSM(Prefix-Suffix-Middle)과 SPM(Suffix-Prefix-Middle) 모드를 모두 지원한다.
• 합성 코드 데이터 및 수학 데이터셋을 사용해 지시-조정하여 추론 및 코딩 성능을 향상시킨다.
• 의존성 그래프와 단위 테스트 기반 패키징을 통해 다중 파일 저장소 컨텍스트를 구현하여 실제 코딩 작업을 더 잘 반영한다.
• 코드 완성 작업에 맞춘 추론 권장사항과 프롬프트를 제공한다.

실험 결과

연구 질문

• RQ1 CodeGemma 모델은 Gemma를 기반으로 한 오픈 모델 및 다른 Code LLM과 비교하여 코드 완성 및 생성 작업에서 어떤 성능을 보이는가?
• RQ2 FIM 학습과 다중 파일 저장소 컨텍스트가 코드 이해도와 생성 품질에 미치는 영향은 무엇인가?
• RQ3 다양한 언어에서 2B와 7B 변형이 코드 작성 및 수학적 추론 작업의 지연 시간과 정확도 측면에서 어떻게 비교되는가?

주요 결과

• CodeGemma 2B는 빠른 코드 인필링과 강력한 성능을 제공하며 IDE와 같은 지연 민감한 환경에 적합합니다.
• CodeGemma 7B 사전학습 및 7B 지시-조정 변형은 강력한 코드 생성과 자연어 이해를 보여주며 주목할 만한 수학적 추론 능력을 갖추고 있습니다.
• Python 코딩 벤치마크에서 CodeGemma 변형은 기본 Gemma 모델을 능가하며 GSM8K 및 MATH 추론 데이터셋에서 주목할 만한 향상을 보입니다.
• BabelCode 다국어 벤치마크에서 CodeGemma가 여러 언어에서 경쟁력 있는 또는 더 우수한 결과를 보입니다.
• 추론 속도 이점은 2B 모델에서 인필링 작업의 품질 저하 없이 달성되어 제약된 환경에 배포하기에 매력적입니다.
• 모델은 코드 능력과 자연어 능력을 균형 있게 유지하여 더 넓은 실제 활용을 가능하게 합니다.