[論文レビュー] Evaluierung der Code-Generierungsfähigkeiten von ChatGPT 4: Eine vergleichende Analyse in 19 Programmiersprachen

Lawrence I. Gilbert|arXiv (Cornell University)|Jun 18, 2024

Artificial Intelligence in Healthcare and Education被引用数 1

ひとこと要約

本研究では、188個のLeetCode問題を用いて、19言語にわたるGPT-4のコード生成能力を評価し、成功確率、エラーの種類、3段階の難易度におけるコードの効率性を分析した。GPT-4の全体的な成功確率は39.67%であったが、複雑な問題では著しく低下し、言語によっても顕著な差が見られ、人気で静的型付け、低抽象度の言語では高い正確性を示し、言語タイプごとに明確なエラーパターンが確認された。

ABSTRACT

Abstract English This bachelor's thesis examines the capabilities of ChatGPT 4 in code generation across 19 programming languages. The study analyzed solution rates across three difficulty levels, types of errors encountered, and code quality in terms of runtime and memory efficiency through a quantitative experiment. A total of 188 programming problems were selected from the LeetCode platform, and ChatGPT 4 was given three attempts to produce a correct solution with feedback. ChatGPT 4 successfully solved 39.67% of all tasks, with success rates decreasing significantly as problem complexity increased. Notably, the model faced considerable challenges with hard problems across all languages. ChatGPT 4 demonstrated higher competence in widely used languages, likely due to a larger volume and higher quality of training data. The solution rates also revealed a preference for languages with low abstraction levels and static typing. For popular languages, the most frequent error was "Wrong Answer", whereas for less popular languages, compiler and runtime errors prevailed, suggesting frequent misunderstandings and confusion regarding the structural characteristics of these languages. The model exhibited above-average runtime efficiency in all programming languages, showing a tendency toward statically typed and low-abstraction languages. Memory efficiency results varied significantly, with above-average performance in 14 languages and below-average performance in five languages. A slight preference for low-abstraction languages and a leaning toward dynamically typed languages in terms of memory efficiency were observed. Future research should include a larger number of tasks, iterations, and less popular languages. Additionally, ChatGPT 4's abilities in code interpretation and summarization, debugging, and the development of complex, practical code could be analyzed further. German Diese Bachelorarbeit untersucht die Fähigkeiten von ChatGPT 4 zur Code-Generierung in 19 Programmiersprachen. Betrachtet wurden die Lösungsraten zwischen drei Schwierigkeitsgraden, die aufgetretenen Fehlerarten und die Qualität des Codes hinsichtlich der Laufzeit- und Speichereffizienz in einem quantitativen Experiment. Dabei wurden 188 Programmierprobleme der Plattform LeetCode entnommen, wobei ChatGPT 4 jeweils drei Versuche hatte, mittels Feedback eine korrekte Lösung zu generieren. ChatGPT 4 löste 39,67 % aller Aufgaben erfolgreich, wobei die Erfolgsrate mit zunehmendem Schwierigkeitsgrad deutlich abnahm und bei komplexen Problemen in allen Sprachen signifikante Schwierigkeiten auftraten. Das Modell zeigte eine höhere Kompetenz in weit verbreiteten Sprachen, was wahrscheinlich auf eine größere Menge und höhere Qualität der Trainingsdaten zurückzuführen ist. Bezüglich der Lösungsraten zeigte das Modell zudem eine Präferenz für Sprachen mit niedrigem Abstraktionsniveau und statischer Typisierung. Bei Sprachen hoher Popularität trat der Fehler Wrong Answer am häufigsten auf, während bei weniger populären Sprachen Compiler- und Laufzeitfehler überwogen, was auf häufige Missverständnisse und Verwechslungen bezüglich der spezifischen strukturellen Eigenschaften dieser Sprachen zurückzuführen ist. ChatGPT 4 demonstrierte in allen Programmiersprachen eine überdurchschnittliche Laufzeiteffizienz und tendierte diesbezüglich erneut zu statisch typisierten und niedrig abstrahierten Sprachen. Die Werte zur Speichereffizienz variierten erheblich, wobei in 14 Sprachen überdurchschnittliche und in fünf Sprachen unterdurchschnittliche Werte erzielt wurden. Es zeigte sich diesbezüglich eine leichte Tendenz zugunsten von niedrig abstrahierten sowie eine Präferenz zu dynamisch typisierten Sprachen. Zukünftige Forschung sollte eine höhere Anzahl an Aufgaben, Iterationen und unpopulären Sprachen einbeziehen. Darüber hinaus könnten die Fähigkeiten von ChatGPT 4 in der Code-Interpretation und -Zusammenfassung, im Debugging und in der Entwicklung komplexer, praxisbezogener Codes analysiert werden. Zusätzliche Informationen Die Arbeit wurde im Rahmen eines Bachelorstudiums an der Universität Potsdam angefertigt und wurde mit der Note 1,5 (sehr gut) bewertet.

研究の動機と目的

• GPT-4の19の多様なプログラミング言語におけるコード生成パフォーマンスを評価すること。
• 問題の難易度（易、中、難）に応じた成功確率の変化を分析すること。
• GPT-4が異なるプログラミング言語で出力するエラーの種類を特定・分類すること。
• GPT-4が生成したコードの実行時間およびメモリ効率を、人間のソリューションと比較して評価すること。
• GPT-4のパフォーマンスおよびエラーのプロファイルにおける言語固有のパターンを特定すること。

提案手法

• 難易度別に分類された188個のLeetCode問題を収集：易55問、中94問、難39問。
• GPT-4に3回試行する反復的プロンプト戦略を適用：初期生成、フィードバックに基づく最適化、最終試行。
• LeetCodeのテストスイートおよび実行フィードバックを用いて、ソリューションの正しさを評価。
• 実行時間およびメモリ効率を、人間のソリューションとのパフォーマンス百分位数を比較して測定。
• エラーを「誤った回答」「コンパイルエラー」「実行時エラー」「論理エラー」のカテゴリに分類。
• 言語の普及度、型付けパラダイム、抽象度レベルに注目して、言語別に結果を分析。

実験結果

リサーチクエスチョン

• RQ1 F1: GPT-4は、19言語にわたるさまざまな難易度の一般プログラミング問題をどの程度効果的に解けるか？
• RQ2 F2: 異なるプログラミング言語において、GPT-4のコード出力で発生するエラーの種類は何か？
• RQ3 F3: GPT-4が生成したソリューションの実行時間およびメモリ使用量は、人間のソリューションと比較してどの程度効率的か？

主な発見

• GPT-4は全188問題において全体で39.67%のソリューション成功確率を達成した。
• 問題の難易度が上がるにつれて成功確率が著しく低下した：易は63.6%、中は42.6%、難は20.5%であった。
• GPT-4はC、Java、TypeScriptのような人気で静的型付け、低抽象度の言語で高い成功確率を示した。
• 人気言語では、主に「誤った回答」（誤った論理）が最も一般的なエラーであったが、人気のない言語では「コンパイルエラー」と「実行時エラー」が支配的であった。
• GPT-4が生成したコードは、19言語すべてで平均以上の実行時間効率を示し、低抽象度および静的型付け言語への強い傾向が見られた。
• メモリ効率は顕著にばらつきを示した：14言語が平均以上のメモリ使用量を示した一方で、5言語は平均未満であった。動的型付け言語においてはわずかにメモリ効率が優れていた傾向が見られた。