[论文解读] Evaluierung der Code-Generierungsfähigkeiten von ChatGPT 4: Eine vergleichende Analyse in 19 Programmiersprachen

Lawrence I. Gilbert|arXiv (Cornell University)|Jun 18, 2024

Artificial Intelligence in Healthcare and Education被引用 1

一句话总结

本研究使用188道LeetCode题目，评估GPT-4在19种编程语言中的代码生成能力，涵盖三种难度级别，分析成功率、错误类型及代码效率。GPT-4的整体成功率仅为39.67%，在复杂问题上表现显著下降，且在不同编程语言间差异显著，其在流行、静态类型、低抽象层级语言中表现更准确，并呈现出不同语言类型特有的错误模式。

ABSTRACT

Abstract English This bachelor's thesis examines the capabilities of ChatGPT 4 in code generation across 19 programming languages. The study analyzed solution rates across three difficulty levels, types of errors encountered, and code quality in terms of runtime and memory efficiency through a quantitative experiment. A total of 188 programming problems were selected from the LeetCode platform, and ChatGPT 4 was given three attempts to produce a correct solution with feedback. ChatGPT 4 successfully solved 39.67% of all tasks, with success rates decreasing significantly as problem complexity increased. Notably, the model faced considerable challenges with hard problems across all languages. ChatGPT 4 demonstrated higher competence in widely used languages, likely due to a larger volume and higher quality of training data. The solution rates also revealed a preference for languages with low abstraction levels and static typing. For popular languages, the most frequent error was "Wrong Answer", whereas for less popular languages, compiler and runtime errors prevailed, suggesting frequent misunderstandings and confusion regarding the structural characteristics of these languages. The model exhibited above-average runtime efficiency in all programming languages, showing a tendency toward statically typed and low-abstraction languages. Memory efficiency results varied significantly, with above-average performance in 14 languages and below-average performance in five languages. A slight preference for low-abstraction languages and a leaning toward dynamically typed languages in terms of memory efficiency were observed. Future research should include a larger number of tasks, iterations, and less popular languages. Additionally, ChatGPT 4's abilities in code interpretation and summarization, debugging, and the development of complex, practical code could be analyzed further. German Diese Bachelorarbeit untersucht die Fähigkeiten von ChatGPT 4 zur Code-Generierung in 19 Programmiersprachen. Betrachtet wurden die Lösungsraten zwischen drei Schwierigkeitsgraden, die aufgetretenen Fehlerarten und die Qualität des Codes hinsichtlich der Laufzeit- und Speichereffizienz in einem quantitativen Experiment. Dabei wurden 188 Programmierprobleme der Plattform LeetCode entnommen, wobei ChatGPT 4 jeweils drei Versuche hatte, mittels Feedback eine korrekte Lösung zu generieren. ChatGPT 4 löste 39,67 % aller Aufgaben erfolgreich, wobei die Erfolgsrate mit zunehmendem Schwierigkeitsgrad deutlich abnahm und bei komplexen Problemen in allen Sprachen signifikante Schwierigkeiten auftraten. Das Modell zeigte eine höhere Kompetenz in weit verbreiteten Sprachen, was wahrscheinlich auf eine größere Menge und höhere Qualität der Trainingsdaten zurückzuführen ist. Bezüglich der Lösungsraten zeigte das Modell zudem eine Präferenz für Sprachen mit niedrigem Abstraktionsniveau und statischer Typisierung. Bei Sprachen hoher Popularität trat der Fehler Wrong Answer am häufigsten auf, während bei weniger populären Sprachen Compiler- und Laufzeitfehler überwogen, was auf häufige Missverständnisse und Verwechslungen bezüglich der spezifischen strukturellen Eigenschaften dieser Sprachen zurückzuführen ist. ChatGPT 4 demonstrierte in allen Programmiersprachen eine überdurchschnittliche Laufzeiteffizienz und tendierte diesbezüglich erneut zu statisch typisierten und niedrig abstrahierten Sprachen. Die Werte zur Speichereffizienz variierten erheblich, wobei in 14 Sprachen überdurchschnittliche und in fünf Sprachen unterdurchschnittliche Werte erzielt wurden. Es zeigte sich diesbezüglich eine leichte Tendenz zugunsten von niedrig abstrahierten sowie eine Präferenz zu dynamisch typisierten Sprachen. Zukünftige Forschung sollte eine höhere Anzahl an Aufgaben, Iterationen und unpopulären Sprachen einbeziehen. Darüber hinaus könnten die Fähigkeiten von ChatGPT 4 in der Code-Interpretation und -Zusammenfassung, im Debugging und in der Entwicklung komplexer, praxisbezogener Codes analysiert werden. Zusätzliche Informationen Die Arbeit wurde im Rahmen eines Bachelorstudiums an der Universität Potsdam angefertigt und wurde mit der Note 1,5 (sehr gut) bewertet.

研究动机与目标

• 评估GPT-4在19种多样化编程语言中的代码生成表现。
• 分析成功率如何随问题难度（简单、中等、困难）变化。
• 识别并分类GPT-4在不同编程语言中生成代码时产生的错误类型。
• 评估GPT-4生成代码在运行时间和内存效率方面相对于人类解决方案的表现。
• 识别GPT-4在不同语言中的性能与错误特征的特定模式。

提出的方法

• 收集了188道LeetCode题目，涵盖三种难度级别：55道简单题，94道中等题，39道困难题。
• 采用GPT-4并结合三轮迭代提示策略：首次生成、基于反馈的优化，以及最终尝试。
• 通过LeetCode的测试套件和执行反馈评估解决方案的正确性。
• 通过将生成代码的性能百分位与人类解决方案对比，测量其运行时间和内存效率。
• 将错误分类为：答案错误、编译错误、运行时错误和逻辑错误。
• 按编程语言分析结果，重点关注语言流行度、类型系统范式及抽象层级。

实验结果

研究问题

• RQ1 F1：GPT-4在19种编程语言中，对不同难度的一般编程问题的解决效率如何？
• RQ2 F2：GPT-4在不同编程语言中的代码输出中，常见错误类型有哪些？
• RQ3 F3：与人类解决方案相比，GPT-4生成代码在运行时间和内存使用方面的效率如何？

主要发现

• GPT-4在全部188道题目中实现了39.67%的整体解决方案成功率。
• 随着问题难度增加，成功率显著下降：简单题为63.6%，中等题为42.6%，困难题为20.5%。
• GPT-4在流行、静态类型、低抽象层级的语言（如C、Java和TypeScript）中表现出更高的成功率。
• 在流行语言中，最常见的错误类型是答案错误（逻辑错误）；而在不流行的语言中，编译错误和运行时错误占主导。
• GPT-4生成的代码在全部19种语言中均展现出优于平均水平的运行时间效率，且对低抽象层级和静态类型语言有明显偏好。
• 内存效率差异显著：14种语言的内存使用高于平均水平，5种低于平均水平，显示出在内存效率方面对动态类型语言的轻微偏好。