[論文レビュー] Knowledge Transfer from High-Resource to Low-Resource Programming Languages for Code LLMs

Federico Cassano, John Gouwar+8 more|arXiv (Cornell University)|Aug 19, 2023

Software Engineering ResearchComputer Science被引用数 3

ひとこと要約

本論文では、高リソース言語から低リソース言語へのテストベースのコード翻訳を通じて、高品質で準実在のトレーニングデータを生成することにより、低リソースプログラミング言語向けにCode LLMを強化する手法MultiPL-Tを提案する。Code LLMを用いてテストを生成・検証し、その後コードを翻訳することで、Julia、Lua、OCaml、R、Racketにおいて、既存のオープンモデルを上回る性能を示す数万件の検証済みトレーニング例を生成した。

ABSTRACT

Over the past few years, Large Language Models of Code (Code LLMs) have started to have a significant impact on programming practice. Code LLMs are also emerging as building blocks for research in programming languages and software engineering. However, Code LLMs produce impressive results on programming languages that are well represented in their training data (e.g., Java, Python, or JavaScript), but struggle with low-resource languages that have limited training data available. Low resource languages include OCaml, Racket, and several others. This paper presents an effective approach for boosting the performance of Code LLMs on low-resource languages using semi-synthetic data. Our approach, MultiPL-T, translates training data from high-resource languages into training data for low-resource languages in the following way. 1) We use a Code LLM to synthesize tests for commented code from a high-resource language, filtering out faulty tests and code with low test coverage. 2) We use a Code LLM to translate Python code to a target low-resource language, and use tests to validate the translation. We apply this approach to generate tens of thousands of validated training items for Julia, Lua, OCaml, R, and Racket. Furthermore, we use an open model (StarCoderBase) with open training data (The Stack), which allows us to decontaminate benchmarks, train models without violating licenses, and run experiments that could not otherwise be done. With MultiPL-T generated data, we present fine-tuned versions of StarCoderBase and Code Llama for Julia, Lua, OCaml, R, and Racket. On established benchmarks (MultiPL-E), these models outperform other open Code LLMs. The MultiPL-T approach is easy to apply to new languages, and is significantly more efficient and effective than alternatives such as training longer.

研究の動機と目的

• Julia、Racket、OCamlなどの低リソースプログラミング言語におけるCode LLMの性能格差を是正すること。これらの言語は、訓練データが不足していることが原因で性能に劣る。
• 実世界のコードが乏しい状況下でも、スケーラブルで効率的な方法で高品質なトレーニングデータを生成する手法を開発すること。
• 長期間のトレーニングや標準的な自己指導的手法と比較して、ファインチューニングの効率性と有効性を向上させること。
• オープンモデルとデコンタミネートされたデータを用いることで、再現可能でライセンス準拠のトレーニングとベンチマークを可能にすること。
• テスト検証済みの高リソース言語から低リソース言語への翻訳が、確立されたベンチマークで優れた性能を発揮することを実証すること。

提案手法

• 高リソース言語（例：Python）のコメント付きコードに対して、Code LLMを用いてユニットテストを生成し、誤りまたは低カバレッジのテストはフィルタリングする。
• 生成されたテストを正しさの検証に用いて、高リソース言語のコードを低リソースのターゲット言語に翻訳するCode LLMを訓練する。
• 自動テスト実行を適用し、元のコードと翻訳コードの意味的同等性を保証する。
• Julia、Lua、OCaml、R、Racketなどの低リソース言語向けに、数万件の高品質で検証済みのコード-テストペアを収集・キュレートする。
• 生成された準実在データセットを用いて、オープンソースのCode LLM（StarCoderBaseおよびCode Llama）をファインチューニングし、性能を向上させる。
• 再現可能性とライセンス制約の遵守を確保するため、The Stackからのデコンタミネートされたトレーニングデータとオープンモデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 高リソース言語から低リソース言語へのテスト検証済みのコード翻訳は、Code LLM向けに高品質なトレーニングデータを生成できるか？
• RQ2 MultiPL-Tの準実在データセットを用いたファインチューニングは、標準的なファインチューニングや既存の低リソースデータに対する長期間トレーニングと比較して優れた性能を発揮するか？
• RQ3 このアプローチは、最小限の人的介入で複数の低リソース言語に一般化可能か？
• RQ4 MultiPL-Tでファインチューニングされたモデルの性能は、確立されたベンチマークで既存のオープンソースCode LLMと比較してどうか？
• RQ5 自己指導的アプローチや標準的な合成データ生成が、低リソース言語ではコード品質が低いため失敗するのか？

主な発見

• MultiPL-Tで生成されたデータセットは、MultiPL-EベンチマークにおいてStarCoderBase-15BおよびCode Llamaの低リソース言語向け性能を顕著に向上させた。
• MultiPL-Tでファインチューニングされたモデルは、Julia、Lua、OCaml、R、Racketを含む、評価されたすべての低リソース言語で、他のオープンソースCode LLMを上回った。
• 既存の低リソースデータに対して長期間トレーニングを実施すると性能が低下するため、これらの言語ではデータの質が量よりも重要であることが示された。
• 自己指導的アプローチは、コード品質が低く、誤ったテストが生成されるため、低リソース言語では失敗する。これは、テストベースの検証の必要性を裏付けた。
• このアプローチは、多様な低リソース言語にスケーラブルかつ効果的に適用可能であり、一貫した性能向上を示した。
• オープンモデルとデコンタミネートされたデータの使用により、従来不可能だった再現可能でライセンス準拠の実験が可能になった。