[論文レビュー] Evaluating ChatGPT and GPT-4 for Visual Programming

Adish Singla|arXiv (Cornell University)|Jul 30, 2023

Software Engineering ResearchComputer Science被引用数 3

ひとこと要約

本研究では、Hour of CodeおよびKarelのビジュアルプログラミングタスクにおいて、GPT-4とChatGPT（GPT-3.5）の性能を評価し、実行トレース、ソリューション合成、タスク合成の観点から分析した。GPT-4はChatGPTに比べて向上を示したが、両モデルともビジュアルプログラミングに不可欠な空間的思考、論理的構造、プログラミング論理の統合が著しく不十分であり、K-8教育現場における現在の生成型AIの限界を示している。

ABSTRACT

Generative AI and large language models have the potential to drastically improve the landscape of computing education by automatically generating personalized feedback and content. Recent works have studied the capabilities of these models for different programming education scenarios; however, these works considered only text-based programming, in particular, Python programming. Consequently, they leave open the question of how well these models would perform in visual programming domains popularly used for K-8 programming education. The main research question we study is: Do state-of-the-art generative models show advanced capabilities in visual programming on par with their capabilities in text-based Python programming? In our work, we evaluate two models, ChatGPT (based on GPT-3.5) and GPT-4, in visual programming domains for various scenarios and assess performance using expert-based annotations. In particular, we base our evaluation using reference tasks from the domains of Hour of Code: Maze Challenge by Code-dot-org and Karel. Our results show that these models perform poorly and struggle to combine spatial, logical, and programming skills crucial for visual programming. These results also provide exciting directions for future work on developing techniques to improve the performance of generative models in visual programming.

研究の動機と目的

• 最先端の生成型AIモデル（GPT-4やChatGPT）が、テキストベースのPythonプログラミングと同等の性能をビジュアルプログラミングでも示せるかを調査すること。
• ビジュアルプログラミング分野における3つの教育的シナリオ（実行トレース、ソリューション合成、タスク合成）におけるこれらのモデルの能力を評価すること。
• 専門家によるアノテーションを用いて性能を評価し、ビジュアルプログラミングに必要なマルチモーダル推論のギャップを特定すること。
• K-8コンピュータ教育分野におけるビジュアルプログラミング向けに、生成モデルの向上に向けた基盤を提供すること。

提案手法

• 実行トレース、ソリューション合成、タスク合成の3つのシナリオにおいて、ChatGPT（GPT-3.5）とGPT-4の2つのモデルを評価した。
• コードサイズ、深さ、構造の複雑さに応じて変動する10の基準タスクを、2つのドメイン（Hour of Code: Maze Challenge（HoCMaze）、Karel）から選定した。
• 出力品質の評価に専門家によるアノテーションを用い、バイナリメトリクス（LayoutCorrect、TaskSolvedByCode、TaskSolvedByEdittedCode、TaskSolvable、Overall）を採用した。
• 各シナリオのプロンプトに、入力コードとタスク仕様をプレースホルダーとして組み込み、評価の一貫性を確保した。
• 10のインスタンスにわたる結果を集約し、各メトリクスのパcent表記で性能を報告した。出力は人間の評価者による検証を経た。
• 現実的な教育的状況を反映させるため、わずかなコード修正を許容する緩めの可解性基準（TaskSolvable）を採用した。

実験結果

リサーチクエスチョン

• RQ1 GPT-4 や ChatGPT といった最先端の生成型モデルは、テキストベースのプログラミングと同等にビジュアルプログラミングでも性能を発揮できるか？
• RQ2 これらのモデルは、ビジュアルプログラムの正しい実行トレースをどれほど正しく生成できるか？
• RQ3 これらのモデルは、与えられたビジュアルプログラミングタスクに対して有効なソリューションを合成できるか？
• RQ4 これらのモデルは、与えられたソリューションコードに基づいて、新しい可解なビジュアルプログラミングタスクを生成できるか？

主な発見

• GPT-4はタスク合成で20.0%のOverallスコアを達成したが、ChatGPTは10.0%であり、明確な改善は示したものの依然として低い性能であった。
• GPT-4はLayoutCorrectで90.0%、TaskSolvableで80.0%を達成したが、TaskSolvedByCodeでは0.0%にとどまり、構造的には正しいタスクを生成しても、入力コードでは解けないことが判明した。
• 両モデルとも、特にHoCMaze:18 や Karel:Stairway のような複雑なタスクにおいて、空間的推論、論理的構造、プログラミング論理の統合に著しく苦労した。
• 入力コードで正しく解けるタスクを生成できず、両モデルともTaskSolvedByCodeで0.0%の成功率を示した。
• GPT-4はLayoutCorrect（90.0% vs. 70.0%）とTaskSolvable（80.0% vs. 50.0%）でChatGPTに比べ顕著な改善を示したが、機能的正しさには至らなかった。
• 具体的な例では、GPT-4が構造は正しいものの、壁の配置やゴールの位置が誤っているタスクを生成し、入力コードが失敗する場合があることが明らかになった。