[論文レビュー] What Should Data Science Education Do with Large Language Models?

Xinming Tu, James Zou+2 more|arXiv (Cornell University)|Jul 6, 2023

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

本論文は、LLMs がデータサイエンス教育を変革し、データサイエンティストを製品開発管理に近い役割へとシフトさせると主張し、倫理、盗用、創造的思考に対処しつつ、教育カリキュラムに教具として LLMs を統合することを提案している。

ABSTRACT

The rapid advances of large language models (LLMs), such as ChatGPT, are revolutionizing data science and statistics. These state-of-the-art tools can streamline complex processes. As a result, it reshapes the role of data scientists. We argue that LLMs are transforming the responsibilities of data scientists, shifting their focus from hands-on coding, data-wrangling and conducting standard analyses to assessing and managing analyses performed by these automated AIs. This evolution of roles is reminiscent of the transition from a software engineer to a product manager. We illustrate this transition with concrete data science case studies using LLMs in this paper. These developments necessitate a meaningful evolution in data science education. Pedagogy must now place greater emphasis on cultivating diverse skillsets among students, such as LLM-informed creativity, critical thinking, AI-guided programming. LLMs can also play a significant role in the classroom as interactive teaching and learning tools, contributing to personalized education. This paper discusses the opportunities, resources and open challenges for each of these directions. As with any transformative technology, integrating LLMs into education calls for careful consideration. While LLMs can perform repetitive tasks efficiently, it's crucial to remember that their role is to supplement human intelligence and creativity, not to replace it. Therefore, the new era of data science education should balance the benefits of LLMs while fostering complementary human expertise and innovations. In conclusion, the rise of LLMs heralds a transformative period for data science and its education. This paper seeks to shed light on the emerging trends, potential opportunities, and challenges accompanying this paradigm shift, hoping to spark further discourse and investigation into this exciting, uncharted territory.

研究の動機と目的

• LLMs がデータサイエンスのパイプラインと専門職の役割をどのように変革するかを説明する。
• LLMs をカリキュラムと授業実践に組み込む教育戦略を提案する。
• データサイエンス教育へのLLMsの導入に関する機会、資源、課題について論じる。
• LLM活用教育における倫理、盗用、評価の配慮事項に対処する。

提案手法

• データクリーニング、探索、モデリング、解釈、報告といったLLMの能力をレビューし、ChatGPTープラグインを用いた心臓病データセットのケーススタディで示す。
• 試験形式の問題を解くLLMsのデモと、コードインタプリタを通じたデータサイエンス・パイプラインの自動化をデモンストレーションする。
• LLMsを活用した動的カリキュラムやクイズ設計を含むカリキュラム設計の事例を議論する。
• ティーチングアシスタントと2 Sigma問題が個別指導に及ぼす影響を評価する。

Figure 1: LLMs can revolutionize the entire data science pipeline, from data cleaning and exploration to model building and final presentation. The future pipeline of the future data science is the collaboration between Human intelligent and LLMs.

実験結果

リサーチクエスチョン

• RQ1 LLMs はデータサイエンスのパイプラインとデータサイエンティストの役割をどのように再構築するか？
• RQ2 LLMを活用したデータサイエンス時代に備えるために、どのような教育内容と方法論を強調すべきか？
• RQ3 盗用などのリスクを緩和しつつ、学習成果を高めるためにLLMsをデータサイエンス教育にどう統合できるか？
• RQ4 データサイエンス教育でLLMsを採用する際の倫理的、実務的、資源に関する課題とは何か？

主な発見

• LLMsはケーススタディにおいてデータクリーニングから報告書作成までのデータサイエンス・パイプラインの各段階を自動化できる。
• ChatGPTはコードプラグインを備えることで最小限のプロンプトでデータ分析タスクを実行でき、潜在的なワークフローの変化を示している。
• 試験と演習は統計問題におけるLLMsの高い性能を示しており、学生の評価に対するリスクを示唆している。
• LLMsを活用したカリキュラム設計、個別指導、そして自動化された教育システムには機会があるが、盗用や偏りに対する慎重な安全対策が必要である。
• この変化はソフトウェア工学からプロダクトマネジメントへの移行に似ており、計画、調整、監督を重視する。

Figure 2: ChatGPT’s capabilities in generating code for data exploration, represented by the derived distribution plots. On the left are four distribution plots that ChatGPT generated, while on the right is a snapshot of the code used to generate these plots.