[논문 리뷰] CodeCoT: Tackling Code Syntax Errors in CoT Reasoning for Code Generation

Dong Huang, Qingwen Bu외 2명|arXiv (Cornell University)|2023. 08. 17.

Experimental Learning in Engineering인용 수 5

한 줄 요약

이 논문은 체인 오브 써밋 추론과 반복적 자기 검증을 통합함으로써 대규모 언어 모델의 코드 생성을 향상시키는 두 부분으로 구성된 프레임워크인 CodeCoT을 제안한다. Vanilla CodeCoT과 Self-exam CodeCoT로 구성되며, gpt-3.5-turbo-0613 모델을 사용해 HumanEval 벤치마크에서 상태최저 수준의 pass@1 정확도 79.27%를 달성한다. 이는 테스트 기반 개선을 통해 코드 정확도를 크게 향상시킨다.

ABSTRACT

Chain-of-thought (CoT) has emerged as a groundbreaking tool in NLP, notably for its efficacy in complex reasoning tasks, such as mathematical proofs. However, its application in code generation faces a distinct challenge, i.e., although the code generated with CoT reasoning is logically correct, it faces the problem of syntax error (e.g., invalid syntax error report) during code execution, which causes the CoT result's pass@1 in HumanEval even lower than the zero-shot result. In this paper, we present Code Chain-of-Thought (CodeCoT) that integrates CoT with a self-examination process for code generation. CodeCoT begins with the LLMs using CoT for initial code development to ensure the generated code follows the correct logic flow. Then, CodeCoT will generate test cases to validate whether the code has syntax errors during the execution. CodeCoT then employs a self-examination phase, in which the generated code is executed against these test cases in the local environment. If the local environment raises error information (e.g., invalid syntax error), CodeCoT will iteratively refine the code based on the feedback information. Within this loop, CodeCoT can make sure their generated codes not only follow the logic flow of the code description, but the syntax error will also be addressed with the self-examination process. Our evaluation results reveal that CodeCoT improves the effectiveness of code generation. For example, CodeCoT increases pass@1 from 75.6% to 79.3% for the HumanEval dataset.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 생성 과정에서 추론 능력이 제한되고 검증이 부족해 발생하는 구문 오류 및 논리 오류 문제를 해결한다.
• 생성 과정 중에 구조화된 추론과 테스트 케이스 검증을 도입함으로써 LLM이 생성한 코드의 신뢰성과 정확도를 향상시킨다.
• 모델이 코드를 생성하고, 테스트를 수행하며 개선하는 반복적 자기 검토가 표준 few-shot 프롬프팅보다 코드 생성 과제에서 더 우수한 성능을 내는지 조사한다.
• 다양한 LLM 아키텍처에서 few-shot 학습의 효과를 평가하여 CodeCoT의 성능에 미치는 영향을 파악한다.

제안 방법

• 코드 생성에 적합하게 조정된 표준 체인 오브 써밋 프롬프팅 방법인 Vanilla CodeCoT을 제안하며, 모델이 코드를 생성하기 전에 단계별 추론을 수행한다.
• 자기 생성 테스트 케이스, 정확도 평가, 실패 시 반복적 개선을 수행하는 Self-exam CodeCoT을 도입한다.
• 자기 검토 과정에서 오류 유형 탐지를 통합하여, 구문 오류 및 논리 오류 수정의 정밀도를 향상시킨다.
• 사용자 정의 테스트 케이스를 프롬프트에 포함시켜 모델이 작업에 특화된 맥락을 이해하도록 유도함으로써 일반화 능력과 성능을 향상시킨다.
• 반복적 개선을 적용한다: 테스트 실패 후 오류 피드백에 기반해 모델이 코드를 재생성함으로써 개발자의 디버깅 워크플로우를 모방한다.
• GPT-3.5, Claude, PaLM 등 다양한 LLM을 대상으로 HumanEval과 같은 표준 벤치마크를 사용해 성능을 평가하며, pass@1 및 pass@k 메트릭을 측정한다.

실험 결과

연구 질문

• RQ1 체인 오브 써밋 프롬프팅을 통해 추론 단계를 명시함으로써 LLM의 코드 생성 정확도를 향상시킬 수 있는가?
• RQ2 모델이 자체적으로 테스트 케이스를 생성하고 검증하는 자기 검토 방식이 표준 few-shot 프롬프팅보다 더 높은 코드 정확도를 달성하는가?
• RQ3 few-shot 예시의 수가 다양한 LLM에서 CodeCoT 방법의 성능에 어떤 영향을 미치는가?
• RQ4 성능가에 도달하거나 저하되기 시작하는 최적의 자기 검토 반복 횟수는 얼마인가?
• RQ5 모델이 생성한 잘못된 테스트 케이스로 인해 개선 루프에서 잘못된 양성 또는 음성 결과가 발생할 가능성은 얼마나 되는가?

주요 결과

• gpt-3.5-turbo-0613 모델을 사용해 HumanEval 벤치마크에서 Self-exam CodeCoT이 pass@1 정확도 79.27%를 달성하여 코드 생성 분야에서 새로운 최고 기록을 수립했다.
• gpt-3.5-turbo-0613 모델은 Self-exam CodeCoT을 사용할 경우 두 개의 few-shot 예시를 적용했을 때 Vanilla CodeCoT 대비 pass@1 정확도가 9.76% 향상되었다.
• gpt-3.5-turbo-0613 모델의 경우 자기 검토 반복이 4회를 초과하면 성능 향상 폭이 둔화되어 수익 감소 현상이 나타났다.
• Claude-instant-1 모델의 경우 Self-exam CodeCoT을 적용함으로써 pass@1이 Vanilla의 53.00%에서 59.76%로 향상되어 더 작은 모델에서도 일관된 성능 향상을 보였다.
• PaLM-2 모델은 두 번째 자기 검토 단계를 초과해도 성능 향상이 없었으며, 두 번째 단계 이후에는 약간의 성능 저하가 발생하여 모델 별로 한계가 있음을 시사했다.
• 잘못된 테스트 케이스로 인한 잘못된 양성 결과의 위험은 낮았으며, 잘못된 코드가 잘못된 테스트를 통과하는 잘못된 음성 결과는 특히 테스트 케이스의 다양성이 증가함에 따라 극히 드물게 발생했다.