[논문 리뷰] Benchmarking and Explaining Large Language Model-based Code Generation: A Causality-Centric Approach

Zhenlan Ji, Pingchuan Ma외 2명|arXiv (Cornell University)|2023. 10. 10.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 자연어 프롬프트와 생성된 코드 간의 인과관계를 모델링하여 대규모 언어 모델(Large Language Model, LLM) 기반 코드 생성을 평가하고 설명하기 위한 인과 중심 프레임워크를 제안한다. 새로운 인과 그래프 표현 방식과 DiBS 기반 인과 분석을 활용하여, 프롬프트 재구성 방식이 BLEU 점수와 같은 코드 품질 지표에 미치는 영향을 규명함으로써, 프롬프트 엔지니어링을 통한 코드 생성 향상에 실질적인 통찰을 제공한다.

ABSTRACT

While code generation has been widely used in various software development scenarios, the quality of the generated code is not guaranteed. This has been a particular concern in the era of large language models (LLMs)- based code generation, where LLMs, deemed a complex and powerful black-box model, is instructed by a high-level natural language specification, namely a prompt, to generate code. Nevertheless, effectively evaluating and explaining the code generation capability of LLMs is inherently challenging, given the complexity of LLMs and the lack of transparency. Inspired by the recent progress in causality analysis and its application in software engineering, this paper launches a causality analysis-based approach to systematically analyze the causal relations between the LLM input prompts and the generated code. To handle various technical challenges in this study, we first propose a novel causal graph-based representation of the prompt and the generated code, which is established over the fine-grained, human-understandable concepts in the input prompts. The formed causal graph is then used to identify the causal relations between the prompt and the derived code. We illustrate the insights that our framework can provide by studying over 3 popular LLMs with over 12 prompt adjustment strategies. The results of these studies illustrate the potential of our technique to provide insights into LLM effectiveness, and aid end-users in understanding predictions. Additionally, we demonstrate that our approach provides actionable insights to improve the quality of the LLM-generated code by properly calibrating the prompt.

연구 동기 및 목표

• LLM 기반 코드 생성에 대한 체계적 평가 및 설명의 부족, 특히 프롬프트 민감성에 대한 문제를 해결하기 위해.
• 블랙박스 지표에 의존하는 것 대신, 프롬프트 변형이 코드 품질에 미치는 인과적 영향을 규명하여 LLM의 투명성을 해소하기 위해.
• 개발자가 프롬프트 캘리브레이션을 통해 생성된 코드를 향상시킬 수 있도록 실질적이고 인간이 이해할 수 있는 통찰을 제공하기 위해.
• 일반화 가능하고 언어에 종속되지 않는 인과 기반 분석을 위한 프레임워크를 구축하기 위해.

제안 방법

• 프롬프트와 생성된 코드의 세밀한 언어적 및 코드적 특징을 구조화된 분석 가능한 형태로 매핑하는 새로운 인과 그래프 기반 표현 방식을 제안한다.
• 언어적 특징(예: 길이, 공손도)과 코드적 특징(예: 복잡도, 구문 패턴)을 수량화하여 수치적 인과 분석이 가능하도록 한다.
• 재구성된 지시어(예: '더 길게 하라', '더 기술적으로 하라')의 평균 치료 효과(Average Treatment Effect, ATE)를 추정하기 위해 DiBS 알고리즘을 적용한다.
• ATE 추정치를 활용하여 코드 품질에 가장 크게 영향을 미치는 프롬프트 특징을 규명하고, 모델 행동의 인과적 설명을 가능하게 한다.
• 동일한 의도에 대해 다양한 프롬프트 변형을 생성하기 위해 LLM 기반 재구성 기법을 활용하여, 다수의 구성에서 통제된 인과 분석을 가능하게 한다.
• 세 개의 LLM(GPT-Neo, GPT-3.5-Turbo, GPT-4)에 걸쳐 APPS 데이터셋에 프레임워크를 통합하여 탄탄성과 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 BLEU 점수 및 기타 지표로 측정했을 때, 어떤 프롬프트 재구성 전략이 코드 생성 품질을 가장 크게 향상시키는가?
• RQ2 프롬프트의 특정 언어적 특징과 생성된 코드의 품질 간 인과관계는 무엇인가?
• RQ3 다른 LLM(GPT-Neo, GPT-3.5-Turbo, GPT-4)은 동일한 프롬프트 변형에 대해 코드 품질과 안정성 측면에서 어떻게 반응하는가?
• RQ4 인과 분석을 통해 고급 품질의 코드 출력을 유도하는 프롬프트 특징과 저품질 또는 오류가 발생하는 특징을 식별할 수 있는가?
• RQ5 인과 통찰에 기반한 프롬프트 캘리브레이션은 다양한 LLM에서 코드 생성 결과를 얼마나 향상시킬 수 있는가?

주요 결과

• GPT-3.5-Turbo에서 '더 길게 하라'라는 재구성 전략은 BLEU 점수를 +0.0531 향상시켰고, GPT-4에서는 +0.0753로 나타나 코드 유사도에 통계적으로 유의미한 긍정적 영향을 미쳤다.
• '더 기술적으로 하라' 지시어는 GPT-3.5-Turbo에서 +0.0297, GPT-4에서는 +0.0362의 BLEU 점수 향상을 보였으며, 이는 프롬프트의 공손도와 기술성 수준이 코드 품질 향상에 기여함을 시사한다.
• GPT-4는 모든 재구성 전략에서 GPT-3.5-Turbo와 GPT-Neo를 일관되게 뛰어넘었으며, 'Ours' 재구성 전략에서 가장 높은 BLEU 점수를 기록했다.
• 원본 프롬프트가 재구성된 버전보다 낮은 BLEU 점수를 기록하는 경우가 많아, 프롬프트 엔지니어링이 코드 생성 결과에 상당한 영향을 미칠 수 있음을 시사한다.
• 인과 분석을 통해 길이와 기술성과 같은 특정 언어적 특징이 코드 품질에 측정 가능하고 실천 가능한 영향을 미친다는 점을 규명했으며, 이는 타겟된 프롬프트 최적화를 가능하게 한다.
• 프레임워크는 일부 프롬프트 재구성 방식이 부정적 영향을 미칠 수 있음을 성공적으로 규명했으며, 예를 들어 GPT-Neo에서 '더 길게 하라' 지시어는 BLEU 점수를 -0.1367 감소시켰다. 이는 지도되지 않은 프롬프트 수정의 위험성을 드러낸다.