[논문 리뷰] Beyond Generating Code: Evaluating GPT on a Data Visualization Course

Zhutian Chen, Chenyang Zhang외 6명|arXiv (Cornell University)|2023. 06. 05.

Data Analysis with R인용 수 5

한 줄 요약

이 연구는 하버드 대학교의 CS171 데이터 시각화 과정에서 GPT-3.5와 GPT-4의 성능을 평가하여, 데이터 정제, SVG 시각화 해석, 자바스크립트 기반 상호작용, 통찰력 전달 능력을 입증한다. 시험과 과제에서 80%의 점수를 기록했으며, 인간 평가자가 AI와 인간의 작업을 70%의 정확도로 구별할 수 있었다.

ABSTRACT

This paper presents an empirical evaluation of the performance of the Generative Pre-trained Transformer (GPT) model in Harvard's CS171 data visualization course. While previous studies have focused on GPT's ability to generate code for visualizations, this study goes beyond code generation to evaluate GPT's abilities in various visualization tasks, such as data interpretation, visualization design, visual data exploration, and insight communication. The evaluation utilized GPT-3.5 and GPT-4 to complete assignments of CS171, and included a quantitative assessment based on the established course rubrics, a qualitative analysis informed by the feedback of three experienced graders, and an exploratory study of GPT's capabilities in completing border visualization tasks. Findings show that GPT-4 scored 80% on quizzes and homework, and TFs could distinguish between GPT- and human-generated homework with 70% accuracy. The study also demonstrates GPT's potential in completing various visualization tasks, such as data cleanup, interaction with visualizations, and insight communication. The paper concludes by discussing the strengths and limitations of GPT in data visualization, potential avenues for incorporating GPT in broader visualization tasks, and the need to redesign visualization education.

연구 동기 및 목표

• 코드 생성을 넘어서 데이터 해석, 디자인, 탐색, 통찰력 전달 등의 데이터 시각화 작업에서 GPT의 능력을 평가하기 위해.
• 실제로 엄격한 데이터 시각화 과정(CS171)에서 GPT-3.5와 GPT-4가 수행하는 할당 과제의 성능을 평가하기 위해.
• 대규모 언어 모델을 시각화 교육의 보조 수단으로 사용할 수 있는지 가능성과 그 교육적 영향을 탐색하기 위해.
• 특히 맥락 인식 추론과 사용자 상호작용에서 GPT의 주요 강점과 한계를 규명하기 위해.
• AI 도구가 커리큘럼에 어떻게 통합되거나 재구성될 수 있을지 탐색함으로써 시각화 교육의 재설계를 지원하기 위해.

제안 방법

• 특별한 프롬프트 엔지니어링 없이 OpenAI API를 통해 GPT-3.5와 GPT-4를 활용해 하버드 대학교 CS171 데이터 시각화 과정의 과제를 완수하였다.
• 시험과 과제의 정량적 평가를 위해 과정에서 정의한 루브릭 기반 평가 체계를 적용하였다.
• 시험과 과제에 혼합된 AI 및 인간의 작업을 평가하기 위해 세 명의 전임 CS171 TA가 정성적 분석을 수행하고 피드백을 제공하였다.
• 데이터 정제, SVG 시각화 읽기, 자바스크립트 이벤트 디스패치, 서사적 시각화 생성 등의 작업 수행 능력을 탐색적으로 연구하였다.
• 고품질 학생 과제와 비교하여 AI가 생성한 출력물의 외관적 차이와 성능 수준을 평가하였다.
• 시각적 데이터 해석, 웹 기반 시각화 상호작용, 설명적 통찰력 생성 등의 작업에서 모델 행동을 분석하였다.

실험 결과

연구 질문

• RQ1 GPT-4는 코드 생성을 넘어서 데이터 정제, 시각화 해석, 통찰력 전달 등의 데이터 시각화 작업을 어느 정도 수행할 수 있는가?
• RQ2 GPT의 CS171 과제 수행 능력은 인간 학생의 성능과 정량적·정성적으로 비교해 볼 때 어떻게 다른가?
• RQ3 경험이 풍부한 인간 평가자가 GPT가 생성한 과제와 인간이 작성한 과제를 신뢰성 있게 구별할 수 있는가?
• RQ4 복잡하고 다단계적인 시각화 작업을 교육적 맥락에서 수행할 때 GPT의 주요 강점과 한계는 무엇인가?
• RQ5 GPT와 같은 대규모 언어 모델의 통합은 향후 데이터 시각화 교육과 커리큘럼 설계에 어떻게 영향을 미칠 수 있는가?

주요 결과

• GPT-4는 하버드 대학교 CS171 데이터 시각화 과정의 시험과 과제에서 80%의 점수를 기록하여 핵심 시각화 역량 전반에서 뛰어난 성능을 보였다.
• TA들이 AI가 생성한 과제와 인간이 작성한 과제를 70%의 정확도로 구별할 수 있었으며, 이는 식별 가능한 스타일적 또는 구조적 차이가 있음을 시사한다.
• GPT는 CSV 데이터셋을 정제하고 탐색할 수 있어 기초적인 데이터 워글링 작업에서의 능력을 입증하였다.
• GPT는 SVG 형식의 시각화를 읽고 해석할 수 있으며, 자바스크립트 이벤트를 디스패치하여 상호작용을 시뮬레이션함으로써 웹 기반 시각화 이해 능력을 보였다.
• GPT는 데이터 통찰력을 전달하기 위해 설명적이고 서사적인 시각화를 성공적으로 생성하여, 통찰력 전달 및 스토리텔링 잠재력이 있음을 입증하였다.
• 본 연구는 GPT의 한계로는 출력이 불안정하여 반복 시도가 필요하고, 다수의 코드 파일을 관리하는 데 어려움을 겪는 점을 드러내었으며, 이는 대규모 시스템에서의 활용을 저해한다.