[논문 리뷰] Is Self-Repair a Silver Bullet for Code Generation?

Theo Olausson, Jeevana Priya Inala외 3명|arXiv (Cornell University)|2023. 06. 16.

Model-Driven Software Engineering Techniques인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델이 스스로 코드를 디버그하고 수정하는 자가 복구(self-repair)가 코드 생성에서 확장 가능한 성능 향상 수단이 되는지 조사한다. HumanEval 및 APPS 벤치마크에서 CodeLlama, GPT-3.5, GPT-4를 사용하여 분석한 결과, 계산 비용을 고려할 때 자가 복구는 유의미한 성능 향상만을 제공하며, 성능은 피드백 품질에 크게 의존한다. 특히 모델이 생성한 피드백을 인간 수준의 피드백으로 대체하면 복구 성공률이 1.58배 향상되며, 이는 자가 복구가 만능이 아니며 모델의 내재적 정확도에 의해 제한된다는 것을 시사한다.

ABSTRACT

Large language models have shown remarkable aptitude in code generation, but still struggle to perform complex tasks. Self-repair -- in which the model debugs and repairs its own code -- has recently become a popular way to boost performance in these settings. However, despite its increasing popularity, existing studies of self-repair have been limited in scope; in many settings, its efficacy thus remains poorly understood. In this paper, we analyze Code Llama, GPT-3.5 and GPT-4's ability to perform self-repair on problems taken from HumanEval and APPS. We find that when the cost of carrying out repair is taken into account, performance gains are often modest, vary a lot between subsets of the data, and are sometimes not present at all. We hypothesize that this is because self-repair is bottlenecked by the model's ability to provide feedback on its own code; using a stronger model to artificially boost the quality of the feedback, we observe substantially larger performance gains. Similarly, a small-scale study in which we provide GPT-4 with feedback from human participants suggests that even for the strongest models, self-repair still lags far behind what can be achieved with human-level debugging.

연구 동기 및 목표

• 계산 비용을 고려할 때 자가 복구가 LLM의 코드 생성 성능을 크게 향상시키는지 평가하는 것.
• 특히 복잡한 프로그래밍 작업에서 피드백 품질이 자가 복구 효능에 미치는 영향을 조사하는 것.
• 동일한 계산 예산에서 자가 복구 성능을 단순 i.i.d. 샘플링과 비교하는 것.
• 강력한 모델이나 인간 피드백이 자가 복구의 한계를 극복할 수 있는지 평가하는 것.

제안 방법

• 자신의 코드 생성, 테스트 실행, 피드백 기반 수정의 세 단계로 구성된 자가 복구 파이프라인을 사용하여, HumanEval 및 APPS 벤치마크에서 CodeLlama-13b-instruct, GPT-3.5, GPT-4를 평가한다.
• 피드백 생성을 위해 모델이 자체 피드백을 생성하거나 더 강력한 모델(GPT-4 등) 또는 인간 참가자로부터 제공된 피드백을 사용한다.
• 자신의 복구 성능을 동일한 계산 예산에서 i.i.d. 샘플링과 비교하며, 다수의 시도 동안 통과율을 측정한다.
• 초기 샘플 수와 복구 시도 수를 변화시켜 다양성과 복구 깊이 사이의 트레이드오���을 평가하기 위해 분석 실험을 수행한다.
• 참가자로부터 인간 피드백을 수집하여 그 영향을 복구 성공률에 미치는 영향을 평가하고, 모델이 생성한 피드백과 비교한다.
• 정량적 평가에서는 pass@k 지표와 각 오류가 있는 프로그램당 25회의 복구 시도 동안의 복구 성공률을 사용한다.

Figure 1: Self-repair with separate code and feedback models. First, a user gives a specification in the form of text and a suite of unit tests (1). Then, a code model (blue) generates a program (2). The program is checked against the unit tests using a symbolic execution engine, and an error messag

실험 결과

연구 질문

• RQ1 계산 비용을 고려할 때 자가 복구가 i.i.d. 샘플링보다 유의미한 성능 향상을 제공하는가?
• RQ2 피드백 품질이 코드 생성에서 자가 복구 성공률에 어떤 영향을 미치는가?
• RQ3 모델이 생성한 피드백을 더 강력한 모델의 피드백 또는 인간 피드백으로 대체하면 자가 복구 결과가 크게 향상되는가?
• RQ4 어떤 조건에서 자가 복구가 단순 샘플링보다 더 효과적인가? 예를 들어, 초기 샘플의 다양성이 복구 시도의 수보다 더 유익한가?
• RQ5 모델의 자기 진단 능력, 즉 자신의 오류를 식별하는 능력이 자가 복구의 효율성에 얼마나 제한적인가?

주요 결과

• 계산 비용을 고려할 때 자가 복구가 i.i.d. 샘플링을 일관되게 능가하지는 않으며, 일부 경우에서는 기준 샘플링 수준과 동일하거나 그 이하의 통과율을 보인다.
• APPS에서 GPT-4를 사용할 경우, 10개의 초기 샘플과 10회의 복구 시도(총 20회)로 기준 pass@20보다 1.05배 높은 통과율을 기록하지만, 2개의 초기 샘플과 10회의 복구 시도(총 22회)로는 기준보다 0.97배에 그친다.
• GPT-4를 사용해 CodeLlama나 GPT-3.5의 피드백 품질을 인위적으로 향상시키면 복구 성공률이 크게 향상되며, 이는 모든 예산에서 원래의 자가 복구 및 i.i.d. 샘플링을 모두 앞선다.
• GPT-4가 생성한 피드백을 인간이 생성한 피드백으로 대체하면 성공적으로 복구된 프로그램의 비율이 1.58배 향상되며, 이는 모델의 자기 진단 능력이 핵심적 한계임을 입증한다.
• 자신의 복구 성공률은 피드백 품질에 매우 민감하며, 특히 개념적 오해에서 기인한 암묵적인 논리적 오류를 식별하는 데 모델이 어려움을 겪는다.
• 영향 계수나 팩토리얼 기반 공식 계산과 같은 과제에서는 모델이 생성한 피드백이 뿌리 원인을 잘못 진단하여, 정확한 추론을 하더라도 복구가 실패하는 경우가 흔하다.

Figure 2: A repair tree begins with a specification $\psi$ (root node), then grows into initial programs $\{p_{i}\}$ , feedback $\{f_{ij}\}$ , and repairs $\{r_{ijk}\}$ .