[論文レビュー] Beyond Generating Code: Evaluating GPT on a Data Visualization Course

Zhutian Chen, Chenyang Zhang+6 more|arXiv (Cornell University)|Jun 5, 2023

Data Analysis with R被引用数 5

ひとこと要約

本研究では、ハーバード大学のCS171データ可視化コースにおいてGPT-3.5とGPT-4の性能を評価し、データクリーニング、SVG可視化の解釈、JavaScriptベースのインタラクション、イン사이트の伝達が可能であることを示した。クイズおよび宿題で80％のスコアを達成し、人間の採点者がAI作成物と人間作成物を70％の正確さで区別できた。

ABSTRACT

This paper presents an empirical evaluation of the performance of the Generative Pre-trained Transformer (GPT) model in Harvard's CS171 data visualization course. While previous studies have focused on GPT's ability to generate code for visualizations, this study goes beyond code generation to evaluate GPT's abilities in various visualization tasks, such as data interpretation, visualization design, visual data exploration, and insight communication. The evaluation utilized GPT-3.5 and GPT-4 to complete assignments of CS171, and included a quantitative assessment based on the established course rubrics, a qualitative analysis informed by the feedback of three experienced graders, and an exploratory study of GPT's capabilities in completing border visualization tasks. Findings show that GPT-4 scored 80% on quizzes and homework, and TFs could distinguish between GPT- and human-generated homework with 70% accuracy. The study also demonstrates GPT's potential in completing various visualization tasks, such as data cleanup, interaction with visualizations, and insight communication. The paper concludes by discussing the strengths and limitations of GPT in data visualization, potential avenues for incorporating GPT in broader visualization tasks, and the need to redesign visualization education.

研究の動機と目的

• コード生成を超えたデータ可視化タスク、例えばデータの解釈、デザイン、探索、インサイトの伝達におけるGPTの能力を評価すること。
• GPT-3.5およびGPT-4が、厳格なデータ可視化コース（CS171）の実際の課題に対してどの程度のパフォーマンスを示すかを評価すること。
• 大規模言語モデルを可視化教育のアシスタントとして使用する可能性を調査し、教育と学習に与える影響を検討すること。
• GPTが文脈に即した推論やユーザーとのインタラクションにおいて、可視化タスクで示す主な強みと限界を特定すること。
• AIツールがカリキュラムに統合されたり再設計されたりする可能性を踏まえ、可視化教育の再設計を支援すること。

提案手法

• 特殊なプロンプト工学を用いずに、OpenAIのAPIを通じてGPT-3.5およびGPT-4を活用し、ハーバード大学のCS171データ可視化コースの課題を完了させた。
• 課題の評価には、クイズおよび宿題の定量的評価のためのコースで確立されたリーブリックを用いた。
• 三名の元CS171TAが、AI作成物と人間作成物が混在した提出物を評価し、フィードバックを提供することで定性的分析を実施した。
• データクリーニング、SVG形式の可視化の読み取り、JavaScriptイベントのディスpatch、ナラティブ可視化の作成といったタスクの処理能力について、予備的調査を実施した。
• GPTが生成した出力と高品質な学生の提出物を比較し、知覚上の差異とパフォーマンス水準の違いを評価した。
• 視覚的データの解釈、Webベースの可視化とのインタラクション、説明的インサイト生成といったタスクにおけるモデルの行動を分析した。

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、コード生成を超えて、データクリーニング、可視化の解釈、インサイトの伝達といったタスクをどの程度実行できるか？
• RQ2 GPTのCS171課題におけるパフォーマンスは、人間の学生と比較して定量的および定性的にどの程度か？
• RQ3 経験豊富な人間の採点者が、GPTが生成した可視化課題と人間が作成した課題を信頼性を持って区別できるか？
• RQ4 教育的文脈において、複雑で多段階的な可視化タスクを処理するにあたり、GPTの主な強みと限界は何か？
• RQ5 GPTのような大規模言語モデルの統合が、今後のデータ可視化教育およびカリキュラム設計にどのように影響を与えるか？

主な発見

• GPT-4はハーバード大学のCS171データ可視化コースのクイズおよび宿題で80％のスコアを達成し、コアな可視化能力の分野で優れたパフォーマンスを示した。
• TAがAI生成物と人間生成物の宿題を70％の正確さで区別できたため、スタイル的または構造的な差異が検出可能であると示唆された。
• GPTはCSVデータセットのクリーニングと探索が可能であり、基礎的なデータワラッキングタスクにおいて実行可能であると示した。
• GPTはSVGフォーマットの可視化を読み取り、解釈し、JavaScriptイベントをディスpatchすることでインタラクションをシミュレートでき、Webベースの可視化理解の能力を示した。
• GPTは説明的かつナラティブ的な可視化を成功裏に作成し、データインサイトの伝達やストーリーテリングにおける潜在的役割を強調した。
• 本研究では、GPTの限界として、複数回のリトライを要する不安定な出力や、複数のコードファイルを管理する困難さが判明し、大規模システムへの応用を妨げる要因となった。