[論文レビュー] Comparing Llama-2 and GPT-3 LLMs for HPC kernels generation

Pedro Valero‐Lara, Alexis Huante+5 more|arXiv (Cornell University)|Sep 12, 2023

Parallel Computing and Optimization Techniques参考文献 16被引用数 5

ひとこと要約

この論文は、MetaのLlama-2 LLMを、GitHub Copilot（OpenAIのCodex経由）と比較して、C++、Fortran、Python、Juliaの複数の並列プログラミングモデルにおけるHPCカーネルの生成について評価している。Llama-2はより最適化されたコードを生成するが、Copilotに比べて信頼性が低い。テストケースの33–66%で正しく動作する一方、Copilotは66–83%で正しく動作しており、行列演算において顕著な最適化の恩恵を受けるが、GPU構文に誤りがある。

ABSTRACT

We evaluate the use of the open-source Llama-2 model for generating well-known, high-performance computing kernels (e.g., AXPY, GEMV, GEMM) on different parallel programming models and languages (e.g., C++: OpenMP, OpenMP Offload, OpenACC, CUDA, HIP; Fortran: OpenMP, OpenMP Offload, OpenACC; Python: numpy, Numba, pyCUDA, cuPy; and Julia: Threads, CUDA.jl, AMDGPU.jl). We built upon our previous work that is based on the OpenAI Codex, which is a descendant of GPT-3, to generate similar kernels with simple prompts via GitHub Copilot. Our goal is to compare the accuracy of Llama-2 and our original GPT-3 baseline by using a similar metric. Llama-2 has a simplified model that shows competitive or even superior accuracy. We also report on the differences between these foundational large language models as generative AI continues to redefine human-computer interactions. Overall, Copilot generates codes that are more reliable but less optimized, whereas codes generated by Llama-2 are less reliable but more optimized when correct.

研究の動機と目的

• C++、Fortran、Python、Juliaの複数のプログラミング言語および並列モデルにおけるLlama-2のHPCカーネル生成効果を評価すること。
• GPT-3ベースのGitHub Copilot（Codex）を基準として、Llama-2のコード生成の正確性と最適化品質を比較すること。
• CPUおよびGPU向けに最適化されたHPCカーネルを生成する際、モデル選択が信頼性とパフォーマンスに与える影響を評価すること。
• OpenMP、CUDA、HIP、OpenACC、およびNumbaやcuPyなどの言語固有のライブラリを含む、さまざまなHPCスタックにおけるLLMの挙動のパターンを特定すること。
• オープンソースと特許権のあるLLMを用いたHPC開発において、コードの信頼性と最適化のトレードオフを理解すること。

提案手法

• Llama-2をHugging Chat（Hugging Faceベースのインターフェース）を介して使用し、単純な自然言語プロンプトを用いてHPCカーネル（AXPY、GEMV、GEMM）を生成した。
• C++、Fortran、Python、Juliaの4言語で評価し、カーネル、言語、プログラミングモデルの組み合わせが144通りにわたる。
• 各ターゲットモデル（例：OpenMP、CUDA、OpenACC、Numba、cuPy、CUDA.jl）の標準コンパイラおよびランタイム環境を用いて、正しさとパフォーマンスをテストした。
• 公平な比較を確保するため、Llama-2およびCopilotの両方に対して同一のプロンプトを適用し、FortranおよびPythonでは有益な場合にキーワードを補足した。
• 少なくとも1つの正しくコンパイル可能で機能的に正しいカーネルが存在する場合を成功と定義した。
• 特にGPU固有の構文（例：cuPyにおける__shared__と__device__の誤用）に関するエラーのパターンを分析した。

Figure 1: Hugging Chat website interface.

実験結果

リサーチクエスチョン

• RQ1 C++、Fortran、Python、Juliaの複数のプログラミング言語およびモデルにおいて、Llama-2の正しく生成されたHPCカーネルの正確性は、GitHub CopilotのGPT-3ベースのCodexと比べてどの程度か？
• RQ2 Llama-2とCopilotは、特に行列乗算カーネルにおいて、コード最適化戦略でどのように異なるか？
• RQ3 なぜ特定のGPUプログラミングモデル（例：HIP、AMDGPU.jl）は、両モデルにおいて一貫して低い成功率を示すのか？
• RQ4 言語固有の機能（例：JuliaのBase.Threads.jl、PythonのNumba）は、LLMによるコード生成の信頼性と正確性にどの程度影響を与えるか？
• RQ5 LLMが生成するHPCコードにおける最も一般的なエラーのパターンは何か？また、Llama-2とCopilotではそれらがどのように異なるか？

主な発見

• Llama-2はC++のケースの40%、Fortranの66%、Juliaの22%、Pythonの33%で少なくとも1つの正しいカーネルを生成した。
• GitHub CopilotはC++の80%、Fortranの100%、Juliaの66%、Pythonの83%で少なくとも1つの正しいコードを生成し、より高い信頼性を示した。
• 正しく生成された場合、Llama-2はNumbaやnumpyを用いた行列カーネルにおいて、Copilotよりもより最適化されたコードを生成した。具体的には、タイリングやストライドアクセスといった技術が用いられた。
• Llama-2のcuPy生成コードで繰り返し見られるエラーは、__device__の代わりに__shared__デコレータを誤って使用することであり、これは論理的に正しくてもGPUコンパイルを破壊する。
• AXPYカーネルに関しては、Llama-2はC++、Fortran、Pythonのすべてのケースで正しく生成できなかったが、Copilotは大多数のケースで成功した。
• Llama-2はC++およびFortranのすべてのカーネルにおいて、正しく生成されたOpenMPコードをCopilotよりも多く生成しており、CPU並列処理における強力なサポートを示している。

Figure 2: Results for C++ kernels (left) and programming models (right).