[論文レビュー] Exploring the Robustness of Large Language Models for Solving Programming Problems

Atsushi Shirafuji, Yutaka Watanobe+5 more|arXiv (Cornell University)|Jun 26, 2023

Software Engineering Research被引用数 5

ひとこと要約

この論文は、Codex、CodeGen、InstructGPT、ChatGPT などの大規模言語モデル（LLM）が、問題の記述やプロンプト形式を変更することで、序盤のプログラミング問題を解く際の頑健性を評価している。古いモデルであるCodexは、特に変数名の変更に対して非常に感受性が高く、一方で新しいモデルのChatGPTはRLHFファインチューニングのおかげで著しく頑健性が向上しており、記憶に頼るのではなく本質的理解に近づいていることが示唆されている。

ABSTRACT

Using large language models (LLMs) for source code has recently gained attention. LLMs, such as Transformer-based models like Codex and ChatGPT, have been shown to be highly capable of solving a wide range of programming problems. However, the extent to which LLMs understand problem descriptions and generate programs accordingly or just retrieve source code from the most relevant problem in training data based on superficial cues has not been discovered yet. To explore this research question, we conduct experiments to understand the robustness of several popular LLMs, CodeGen and GPT-3.5 series models, capable of tackling code generation tasks in introductory programming problems. Our experimental results show that CodeGen and Codex are sensitive to the superficial modifications of problem descriptions and significantly impact code generation performance. Furthermore, we observe that Codex relies on variable names, as randomized variables decrease the solved rate significantly. However, the state-of-the-art (SOTA) models, such as InstructGPT and ChatGPT, show higher robustness to superficial modifications and have an outstanding capability for solving programming problems. This highlights the fact that slight modifications to the prompts given to the LLMs can greatly affect code generation performance, and careful formatting of prompts is essential for high-quality code generation, while the SOTA models are becoming more robust to perturbations.

研究の動機と目的

• LLMがプログラミング問題を解く際に、表面的な手がかりに基づく記憶された解決策を検索するのではなく、真の理解に基づいているかどうかを調査すること。
• プロンプトのフォーマットや変更が、複数の最先端LLMにおけるコード生成性能に与える影響を評価すること。
• 変数名や意味的変更が、コード生成タスクにおけるモデルの挙動にどの程度影響を与えるかを特定すること。
• 問題記述における表面的および意味的摂動に対するLLMの頑健性を評価すること。
• 現在のLLMが自動プログラミング問題解決において有する限界と能力について、実証的洞察を提供すること。

提案手法

• 研究では、Aizu Online Judge（AOJ）の問題記述をLLMのプロンプトとして用い、Pythonコードを生成させた。
• 主に2つの実験を実施した：(1) 表面的なフォーマットの変更（例：改行、句読点の変更）、(2) 意味的および表面的変更（例：問題仕様の逆転、変数名のランダム化）。
• 正解率を主な指標として、隠しテストケースを用いてコードの正しさを測定した。
• 評価対象のモデルには、RLHFを含むさまざまなトレーニング手法を用いたCodeGen、Codex、InstructGPT、ChatGPTが含まれる。
• プロンプト内の語彙的手がかりへの依存度をテストするため、UUIDを用いた変数名の匿名化を実施した。
• 摂動を加えた入力に対してモデルの出力を比較し、感受性および一般化能力を評価した。

Figure 1 : Task of automatically solving programming problems by an LM evaluated by a judge system based on hidden test cases, an example of a problem named ITP1_1_C from AOJ.

実験結果

リサーチクエスチョン

• RQ1 LLMは、フォーマットや変数名といった表面的手がかりにどの程度依存してコードを生成しているのか？
• RQ2 プロンプトのフォーマットは、異なるLLMのコード生成性能にどのように影響するか？
• RQ3 意味的変更（例：問題仕様の逆転）は、モデル出力および正答率にどのように影響するか？
• RQ4 RLHFファインチューニングの導入は、プロンプト摂動に対する頑健性にどのように影響するか？
• RQ5 LLMは、元のプロンプトとは意味的に逆転した問題に対しても一般化できるか？

主な発見

• Codexは、最悪のプロンプトフォーマットと最良のものとの間で25.9%の性能向上を示し、フォーマットに極めて感受性があることがわかった。
• CodeGenはフォーマット変更による性能差が14.7%にのぼり、これもフォーマット依存性が強いことを示している。
• UUIDを用いた変数名のランダム化により、Codexの正解率は著しく低下した。これは、変数名の意味的特徴に強く依存していることを示している。
• ChatGPTとInstructGPTは、フォーマットおよび変数名の摂動に対して優れた頑健性を示し、より深い理解がなされている可能性がある。
• Codexは、問題仕様が意味的に逆転した場合（例：和 → 積）でさえ、元の問題の正解コードを生成することがあり、これは推論ではなく記憶に依存していることを示している。
• モデルはしばしば、生成コード内で匿名化された変数名を使用することを拒否し、代わりに元の名前を好むことがあり、これにより語彙的手がかりへの依存がさらに裏付けられた。

Figure 2 : Illustration of the experiments consisting of problem formatting, prompt formatting, code generation, and evaluation.