[論文レビュー] CodeCoT: Tackling Code Syntax Errors in CoT Reasoning for Code Generation

Dong Huang, Qingwen Bu+2 more|arXiv (Cornell University)|Aug 17, 2023

Experimental Learning in Engineering被引用数 5

ひとこと要約

本稿では、チェーン・オブ・トゥグラウンディング推論と反復的自己検証を統合することで、大規模言語モデルにおけるコード生成を向上させる二段階フレームワーク、CodeCoTを提案する。Self-exam CodeCoTは、gpt-3.5-turbo-0613モデルを用いてHumanEvalベンチマークで79.27%のpass@1精度を達成し、テスト駆動の改善によってコードの正しさが顕著に向上した。

ABSTRACT

Chain-of-thought (CoT) has emerged as a groundbreaking tool in NLP, notably for its efficacy in complex reasoning tasks, such as mathematical proofs. However, its application in code generation faces a distinct challenge, i.e., although the code generated with CoT reasoning is logically correct, it faces the problem of syntax error (e.g., invalid syntax error report) during code execution, which causes the CoT result's pass@1 in HumanEval even lower than the zero-shot result. In this paper, we present Code Chain-of-Thought (CodeCoT) that integrates CoT with a self-examination process for code generation. CodeCoT begins with the LLMs using CoT for initial code development to ensure the generated code follows the correct logic flow. Then, CodeCoT will generate test cases to validate whether the code has syntax errors during the execution. CodeCoT then employs a self-examination phase, in which the generated code is executed against these test cases in the local environment. If the local environment raises error information (e.g., invalid syntax error), CodeCoT will iteratively refine the code based on the feedback information. Within this loop, CodeCoT can make sure their generated codes not only follow the logic flow of the code description, but the syntax error will also be addressed with the self-examination process. Our evaluation results reveal that CodeCoT improves the effectiveness of code generation. For example, CodeCoT increases pass@1 from 75.6% to 79.3% for the HumanEval dataset.

研究の動機と目的

• 大規模言語モデル（LLMs）における構文エラーと論理エラーの課題に取り組む。これは、生成過程での推論能力の制限と検証の欠如に起因する。
• 生成プロセス中に構造的な推論とテストケース検証を導入することで、LLMが生成するコードの信頼性と正しさを向上させる。
• モデルがコードを生成・テスト・改善する反復的自己検査が、標準的なfew-shotプロンプティングを上回るかを検証する。
• CodeCoTと組み合わせたfew-shot学習の有効性を評価し、多様なLLMアーキテクチャにおけるモデル性能への影響を明らかにする。

提案手法

• コード生成に適応した標準的なチェーン・オブ・トゥグラウンディングプロンプティング手法、Vanilla CodeCoTを提案。モデルはコード出力の前に段階的な推論を生成する。
• 自己生成テストケースと正しさの評価を伴い、テストに失敗した場合に反復的にコードを改善する、拡張された手法であるSelf-exam CodeCoTを導入。
• 自己検査中にエラー種別を特定し、構文エラーと論理エラーの修正精度を向上させる。
• few-shot例をプロンプトに統合し、タスク固有の文脈をモデルに与えることで、一般化性能と性能を向上させる。
• 反復的改善を適用：テスト失敗後、エラーのフィードバックに基づきモデルがコードを再生成する。これは開発者のデバッグワークフローを模倣する。
• HumanEvalなどの標準ベンチマークを用いて性能を評価し、GPT-3.5、Claude、PaLMなどの複数のLLMにおけるpass@1およびpass@kメトリクスを測定する。

実験結果

リサーチクエスチョン

• RQ1 チェーン・オブ・トゥグラウンディングプロンプティングにより、推論ステップを明示することで、LLMにおけるコード生成の正確性が向上するか？
• RQ2 モデルがテストケースを生成・検証する自己検査が、標準的なfew-shotプロンプティングと比較して、より高いコード正しさを達成するか？
• RQ3 few-shot例の数が、異なるLLMにおけるCodeCoT手法の性能に与える影響は何か？
• RQ4 性能が飽和または低下するまでの自己検査の最適な反復回数は何か？
• RQ5 モデルが生成する誤ったテストケースが、改善ループにおける誤検出（偽陽性）や見逃し（偽陰性）をどれほど引き起こすか？

主な発見

• Self-exam CodeCoTは、gpt-3.5-turbo-0613モデルを用いてHumanEvalベンチマークで79.27%のpass@1精度を達成し、コード生成分野における新たな最先端水準を樹立した。
• gpt-3.5-turbo-0613モデルでは、Self-exam CodeCoTに2つのfew-shot例を組み合わせた場合、Vanilla CodeCoTに比べてpass@1精度が9.76%向上した。
• gpt-3.5-turbo-0613では、自己検査が4回目以降で性能の伸びが鈍り、それ以上に反復しても利益が得られなくなることが示された。
• Claude-instant-1モデルでは、Self-exam CodeCoTによりpass@1がVanillaの53.00%から59.76%に向上し、小規模モデルでも一貫した向上が確認された。
• PaLM-2モデルでは、2回目の自己検査ステップ以降に追加のステップが効果を示さず、2ステップを超えるとわずかに性能が低下した。これはモデル固有の制限を示唆している。
• 誤ったテストケースによる偽陽性（正しくてもテストに失敗する）のリスクは低く、誤ったコードがテストに通過する偽陰性（誤検出）も、テストケースの多様性が増すと極めて稀であった。