[논문 리뷰] MultiPL-E: A Scalable and Extensible Approach to Benchmarking Neural Code Generation

Federico Cassano, John Gouwar외 11명|arXiv (Cornell University)|2022. 08. 17.

Software Engineering Research인용 수 13

한 줄 요약

이 논문은 파이썬에서 18개의 추가 프로그래밍 언어로 단위 테스트 기반 코드 생성 벤치마크를 번역하는 확장 가능하고 확장 가능한 프레임워크인 MultiPL-E를 소개한다. 이를 통해 신경망 기반 코드 모델의 다국어 평가가 가능해진다. 주요 기여는 Codex가 몇몇 비파이썬 언어에서 파이썬 성능을 능가함을 드러내는 병렬 다국어 벤치마크(MultiPL-HumanEval 및 MultiPL-MBPP)를 구축한 것이다. 이는 언어 특화 성능에 대한 기존의 가정과 모델 일반화 능력에 도전한다.

ABSTRACT

Large language models have demonstrated the ability to generate both natural language and programming language text. Such models open up the possibility of multi-language code generation: could code generation models generalize knowledge from one language to another? Although contemporary code generation models can generate semantically correct Python code, little is known about their abilities with other languages. We propose MultiPL-E, a system for translating unit test-driven code generation benchmarks to new languages. We create the first massively multilingual code generation benchmark by using MultiPL-E to translate two popular Python code generation benchmarks to 18 additional programming languages. We use MultiPL-E to extend the HumanEval benchmark and MBPP benchmark to 18 languages that encompass a range of programming paradigms and popularity. Using these new parallel benchmarks, we evaluate the multi-language performance of three state-of-the-art code generation models: Codex, CodeGen, and InCoder. We find that Codex matches or even exceeds its performance on Python for several other languages. The range of programming languages represented in MultiPL-E allow us to explore the impact of language frequency and language features on model performance. Finally, the MultiPL-E approach of compiling code generation benchmarks to new programming languages is both scalable and extensible, making it straightforward to evaluate new models, benchmarks, and languages.

연구 동기 및 목표

• 기존의 파이썬 중심의 벤치마크를 다른 언어로 확장하여 신경망 기반 코드 생성 분야에서 다국어 평가의 부족을 해결하기 위해.
• 다양한 프로그래밍 패러다임과 인기 수준을 가진 언어 간에 일관되고 병렬적인 코드 생성 모델 평가를 가능하게 하기 위해.
• 언어 특징, 인기 수준, 프롬프트 설계가 코드 생성 성능에 미치는 영향을 조사하기 위해.
• 완전한 컴파일러 오버헤드 없이도 새로운 언어에서 코드 생성 모델을 평가하기 위한 재사용 가능하고 확장 가능한 프레임워크를 개발하기 위해.

제안 방법

• MultiPL-E는 경량의 규칙 기반 컴파일러(각각 약 200줄)를 사용하여 함수 서명, 단위 테스트, 문서 문자열, 타입 주석을 파이썬에서 대상 언어로 번역한다.
• 파이썬 전용 용어(예: 'list' → 'vector' in C++)를 언어에 적합한 용어로 번역하는 모듈을 활용하여 프롬프트 명확성을 향상시킨다.
• 컨테이너화된 샌드박스 환경에서 생성된 코드를 타임아웃 설정으로 실행하고, 출력 결과를 단위 테스트와 비교하여 정상, 문법 오류, 런타임 오류로 분류한다.
• 다양한 패러다임과 인기 수준을 가진 18개의 언어를 지원하며, 각 언어의 평가 스크립트는 약 20줄이다.
• 기존의 벤치마크(HumanEval 및 MBPP)를 재사용하여 테스트 케이스와 프롬프트를 새로운 언어로 번역하면서 의미적 동치성을 유지한다.
• 일致한 문제 세트를 사용하여 다국어 환경에서 코드 생성 모델의 제로샷 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 코드 생성 모델은 파이썬에서의 지식을 다른 프로그래밍 언어로 일반화할 수 있으며, 성능은 언어 간에 어떻게 달라지는가?
• RQ2 언어의 인기 수준과 문법적 특징(예: 정적 타이핑)은 코드 생성 성능에 어떤 영향을 미치는가?
• RQ3 모델의 퍼플렉서티와 코드 정확도 사이에 강한 상관관계가 존재하는가?
• RQ4 다국어 환경에서 프롬프트 설계와 언어 특화 용어가 모델 성능에 얼마나 민감한가?
• RQ5 타입 주석은 정적 타이핑 언어에서 코드 생성을 향상시키거나 방해하는가?

주요 결과

• Codex는 자바스크립트, C++, 스칼라, 타입스크립트에서 파이썬 성능을 유지하거나 초월하며, 강력한 다국어 일반화 능력을 보여준다.
• 모델 성능은 언어의 인기 수준과 중간 정도의 상관관계를 보이지만, Racket나 스위프트와 같은 담론 언어도 메인스트림 언어와 유사한 성능을 보인다.
• 모델 퍼플렉서티와 코드 정확도 사이에 강한 상관관계가 없으며, 이는 퍼플렉서티가 코드 생성 품질의 약한 대체 지표임을 시사한다.
• 정적 타이핑은 모델 성능에 유의미한 영향을 주지 않으며, 타입 주석이 큰 도움이 되지도, 방해가 되지도 않는다는 것을 의미한다.
• 프롬프트 설계 민감도는 주류 언어뿐 아니라 담론 언어에서도 뚜렷하게 드러나며, 프롬프트 구성에 따라 모델 출력 품질이 크게 달라진다.
• 오류 분석을 통해 스위프트에서의 잘못된 문자열 인덱싱이나 파이썬에서의 입력 처리 문제와 같은 언어 특화 문제를 확인할 수 있었으며, 이는 모델의 언어 특화 관용어 처리 능력에 한계가 있음을 시사한다.