[논문 리뷰] HumanEval-XL: A Multilingual Code Generation Benchmark for Cross-lingual Natural Language Generalization

Qiwei Peng, Yekun Chai외 1명|arXiv (Cornell University)|2024. 02. 26.

Natural Language Processing Techniques인용 수 4

한 줄 요약

HumanEval-XL은 23개의 자연어(NLs)와 12개의 프로그래밍 언어(PLs)를 연결하는 대규모 다국어 코드 생성 벤치마크를 소개하며, 평균 8.33개의 테스트 케이스를 가진 22,080개의 프ompt를 포함한다. 이는 코드 생성에서의 다국어 자연어 일반화 능력을 종합적으로 평가할 수 있게 하며, 모델 크기와 전문화된 코드 사전학습이 다국어 코드 생성 성능을 크게 향상시킨다는 것을 드러내지만, 현재 모델들은 다양한 자연어 간 의미 동치성 유지를 어려워한다는 점을 확인한다.

ABSTRACT

Large language models (LLMs) have made significant progress in generating codes from textual prompts. However, existing benchmarks have mainly concentrated on translating English prompts to multilingual codes or have been constrained to very limited natural languages (NLs). These benchmarks have overlooked the vast landscape of massively multilingual NL to multilingual code, leaving a critical gap in the evaluation of multilingual LLMs. In response, we introduce HumanEval-XL, a massively multilingual code generation benchmark specifically crafted to address this deficiency. HumanEval-XL establishes connections between 23 NLs and 12 programming languages (PLs), and comprises of a collection of 22,080 prompts with an average of 8.33 test cases. By ensuring parallel data across multiple NLs and PLs, HumanEval-XL offers a comprehensive evaluation platform for multilingual LLMs, allowing the assessment of the understanding of different NLs. Our work serves as a pioneering step towards filling the void in evaluating NL generalization in the area of multilingual code generation. We make our evaluation code and data publicly available at \url{https://github.com/FloatAI/humaneval-xl}.

연구 동기 및 목표

• 다양한 자연어와 프로그래밍 언어를 아우르는 다국어 코드 생성 평가를 위한 종합적인 벤치마크가 부족한 문제를 해결하기 위해.
• 영어 중심 또는 국한된 언어 설정을 초월해 대규모 언어 모델(LLMs)의 다국어 자연어 일반화 능력을 철저히 평가할 수 있도록 하기 위해.
• 23개의 자연어와 12개의 프로그래밍 언어를 연결하는 표준화된 평행 벤치마크를 구축하여 다국어 LLM의 이해력과 코드 생성 능력을 평가하기 위해.
• 모델 규모와 전문화된 코드 사전학습이 다국어 코드 생성 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 23개의 자연어와 12개의 프로그래밍 언어 간에 평행된 코드 문제를 생성하여 벤치마크를 구축한다. 이는 언어학적 및 문법적 일치를 보장한다.
• 각 프ompt는 23개의 자연어로 번역되고 12개의 프로그래밍 언어에 해당하는 코드로 매핑되어 평행 다국어 데이터셋을 형성한다.
• 22,080개의 프ompt와 평균 8.33개의 테스트 케이스를 포함하며, 코드 정확도에 대한 강력한 평가를 보장한다.
• 평가에는 생성된 코드가 테스트 케이스에서 성공하는 비율을 측정하는 pass@k 메트릭이 사용된다.
• 다양한 파rameter 규모의 세 가지 LLM 패밀리—CodeT5+, CodeGen2, GPT-3.5, GPT-4—를 대상으로 실험를 수행한다.
• 벤치마크는 재현 가능성과 커뮤니티 활용을 위해 https://github.com/FloatAI/HumanEval-XL 에 공개된다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 23개의 다양한 자연어에서 코드 생성 작업에 얼마나 잘 일반화되는가?
• RQ2 모델 규모가 다양한 프로그래밍 언어에서 다국어 코드 생성 성능에 어떤 영향을 미치는가?
• RQ3 일반적인 다국어 사전학습 대비 전문화된 코드 사전학습이 다국어 코드 생성 능력에 어떤 영향을 미치는가?
• RQ4 동일한 코딩 과제를 다양한 자연어로 번역했을 때 현재의 LLM이 의미 동치성을 얼마나 잘 유지하는가?
• RQ5 벤치마크는 저자원 자연어에서 코드 생성 시 언어적 편향이나 성능 저하를 감지할 수 있는가?

주요 결과

• 모델 규모는 다국어 코드 생성 성능와 강한 정적 상관관계를 보이며, 더 큰 모델일수록 모든 언어와 프로그래밍 언어에서 유의미하게 높은 pass@k 점수를 기록한다.
• 전문화된 코드 사전학습은 특히 저자원 언어 환경에서 코드 생성 품질 향상에 핵심적인 역할을 한다.
• 영어에서는 높은 성능를 보이지만, 현재의 LLM은 비영어 프로mt에서 코드를 생성할 때 의미 동치성을 유지하는 데 어려움을 겪으며, 이는 낮은 다국어 일반화 능력을 시사한다.
• GPT-4는 모든 언어와 PL에서 가장 높은 pass@1 점수를 기록하며, 특히 저자원 언어 쌍에서 CodeT5+와 CodeGen2 모델을 압도적으로 앞선다.
• 태갈어, 스포티니, 우즈베크 등 많은 저자원 언어에서 모든 모델에서 거의 0에 가까운 성능를 보이며, 다국어 모델 일반화의 심각한 격차를 드러낸다.
• 벤치마크는 고파rameter 모델조차도 23개의 자연어 전반에 걸쳐 효과적으로 일반화하지 못함을 확인하며, 코드 LLM에서의 다국어 일치 개선이 절실한 필요성을 강조한다.