[논문 리뷰] Knowledge Transfer from High-Resource to Low-Resource Programming Languages for Code LLMs

Federico Cassano, John Gouwar외 8명|arXiv (Cornell University)|2023. 08. 19.

Software Engineering ResearchComputer Science인용 수 3

한 줄 요약

이 논문은 고자원 프로그래밍 언어에서 저자원 프로그래밍 언어로의 테스트 기반 코드 번역을 통해 고품질의 준합성 학습 데이터를 생성함으로써 저자원 프로그래밍 언어를 위한 코드 LLM을 향상시키는 MultiPL-T를 제안한다. 코드 LLM을 사용해 테스트를 생성하고 검증한 후 코드를 번역함으로써, 줄리아, 루아, 올랜드, R, 렉터 등에 대해 기존의 오픈 모델을 뛰어넘는 성능 향상을 이룬 수천 개의 검증된 학습 예제를 생성한다.

ABSTRACT

Over the past few years, Large Language Models of Code (Code LLMs) have started to have a significant impact on programming practice. Code LLMs are also emerging as building blocks for research in programming languages and software engineering. However, Code LLMs produce impressive results on programming languages that are well represented in their training data (e.g., Java, Python, or JavaScript), but struggle with low-resource languages that have limited training data available. Low resource languages include OCaml, Racket, and several others. This paper presents an effective approach for boosting the performance of Code LLMs on low-resource languages using semi-synthetic data. Our approach, MultiPL-T, translates training data from high-resource languages into training data for low-resource languages in the following way. 1) We use a Code LLM to synthesize tests for commented code from a high-resource language, filtering out faulty tests and code with low test coverage. 2) We use a Code LLM to translate Python code to a target low-resource language, and use tests to validate the translation. We apply this approach to generate tens of thousands of validated training items for Julia, Lua, OCaml, R, and Racket. Furthermore, we use an open model (StarCoderBase) with open training data (The Stack), which allows us to decontaminate benchmarks, train models without violating licenses, and run experiments that could not otherwise be done. With MultiPL-T generated data, we present fine-tuned versions of StarCoderBase and Code Llama for Julia, Lua, OCaml, R, and Racket. On established benchmarks (MultiPL-E), these models outperform other open Code LLMs. The MultiPL-T approach is easy to apply to new languages, and is significantly more efficient and effective than alternatives such as training longer.

연구 동기 및 목표

• 줄리아, 룩커트, 올랜드와 같은 저자원 프로그래밍 언어에서 코드 LLM의 성능 격차를 해소하기 위해, 부족한 학습 데이터로 인한 문제를 해결한다.
• 희귀한 실제 코드에 의존하지 않고도 저자원 언어를 위한 고품질 학습 데이터를 스케일링하고 효율적으로 생성할 수 있는 방법을 개발한다.
• 긴 학습 또는 표준 자기 지시 접근 방식에 비해 미세조정의 효율성과 효과를 향상시킨다.
• 오픈 모델과 탈오염된 데이터를 사용하여 재현 가능하고 라이선스 준수 학습 및 벤치마크를 가능하게 한다.
• 테스트 검증 번역이 기존 벤치마크에서 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• 고자원 언어(예: 파이썬)의 주석이 달린 코드에 대해 코드 LLM을 사용해 단위 테스트를 생성하고, 잘못되거나 커버리지가 낮은 테스트는 걸러낸다.
• 생성된 테스트를 정확성 검증 수단으로 사용해 고자원 언어 코드를 저자원 대상 언어로 번역하는 코드 LLM을 훈련시킨다.
• 자동화된 테스트 실행을 통해 번역된 코드를 검증하여 원본과 대상 코드 간의 의미적 동치성을 확보한다.
• 줄리아, 루아, 올랜드, R, 렉터와 같은 저자원 언어를 위해 수천 개의 고품질 검증 코드-테스트 쌍을 수집하고 정제한다.
• 생성된 준합성 데이터셋으로 오픈소스 코드 LLM(StarCoderBase 및 Code Llama)을 미세조정하여 성능을 향상시킨다.
• 재현 가능성과 라이선스 제약 준수를 확보하기 위해 The Stack의 탈오염된 학습 데이터와 오픈 모델을 사용한다.

실험 결과

연구 질문

• RQ1 고자원 언어에서 저자원 언어로의 테스트 검증 번역이 코드 LLM을 위한 고품질 학습 데이터를 생성할 수 있는가?
• RQ2 MultiPL-T의 준합성 데이터로 미세조정한 결과가 표준 미세조정 또는 기존 저자원 데이터로 장기간 학습한 것보다 우수한가?
• RQ3 이 방법은 인간 간섭을 최소화하고도 다양한 저자원 언어에 일반화 가능한가?
• RQ4 MultiPL-T로 미세조정한 모델의 성능은 기존 오픈소스 코드 LLM과 기존 벤치마크에서 어떻게 비교되는가?
• RQ5 자기 지시나 표준 준합성 데이터 생성 방식이 저자원 언어에서 실패하는 이유는 낮은 코드 품질과 잘못된 테스트 생성 때문인가?

주요 결과

• MultiPL-T로 생성된 데이터셋은 MultiPL-E 벤치마크에서 StarCoderBase-15B와 Code Llama의 저자원 언어 성능을 크게 향상시켰다.
• MultiPL-T로 미세조정한 모델은 줄리아, 루아, 올랜드, R, 렉터 등 평가된 모든 저자원 언어에서 다른 오픈소스 코드 LLM을 능가했다.
• 기존 저자원 데이터로 장기간 학습을 진행할수록 성능이 악화됨을 확인하여, 이러한 언어에서는 데이터 품질이 양보다 더 중요함을 시사한다.
• 자기 지시 방식은 낮은 코드 품질과 잘못된 테스트 생성으로 인해 저자원 언어에서는 실패함을 입증하며, 테스트 기반 검증의 필요성을 확인한다.
• 이 방법은 다양한 저자원 언어에 대해 확장 가능하고 효과적이며, 일관된 성능 향상을 보였다.
• 오픈 모델과 탈오염된 데이터의 사용은 이전에는 불가능했던 재현 가능하고 라이선스 준수 실험을 가능하게 했다.