[論文レビュー] A Preliminary Exploration of the Disruption of a Generative AI Systems: Faculty/Staff and Student Perceptions of ChatGPT and its Capability of Completing Undergraduate Engineering Coursework

Lance White, Trini Balart+3 more|arXiv (Cornell University)|Mar 3, 2024

Artificial Intelligence in Healthcare and Education被引用数 5

ひとこと要約

本論文は、ChatGPTが学部レベルの工学課程の課題を完遂できるかを調査し、教員・職員・学生の認識を分析するとともに、Disruption（混乱）への対応を導くためDANCEモデルを用いて教員の適応を指針とする。

ABSTRACT

The authors of this study aim to assess the capabilities of the OpenAI ChatGPT tool to understand just how effective such a system might be for students to utilize in their studies as well as deepen understanding of faculty/staff and student perceptions about ChatGPT in general. The purpose of what is learned from the study is to continue the design of a model to facilitate the development of faculty for becoming adept at embracing change, the DANCE model (Designing Adaptations for the Next Changes in Education). This model is used in this study to help faculty with examining the impact that a disruptive new tool, such as ChatGPT, can pose for the learning environment. The authors analyzed the performance of ChatGPT used to complete course assignments at a variety of levels by novice engineering students working as research assistants. Those completed works have been assessed by the faculty who created those assignments to understand how these completed assignments might compare with the performance of a typical student. A set of surveys conducted by the authors of this work are discussed where students, faculty, and staff respondents in March of 2023 addressed their perceptions of ChatGPT (A follow-up survey is being administered now, February 2024). These survey instruments were analyzed, and the data visualized in this work to bring attention to relevant findings by the researchers. This work reports the findings of the researchers with the purpose of sharing the current state of this work at Texas A&M University with the intention to provide insights to scholars both at our own institution and around the world. This work is not intended to be a finished work but reports these findings with full transparency that this work is currently continuing as the researchers gather new data and develop and validate various measurement instruments.

研究の動機と目的

• 学生リサーチアシスタントを用いて、複数レベルの工学課程の課題を完遂するOpenAIのChatGPTの能力を評価する。
• 教員・職員・学生のChatGPTに対する認識と、それが学習環境に与える影響を理解する。
• Disruptive toolsに対する教員準備を導くために、DANCEモデル（Designing Adaptations for the Next Changes in Education）の活用とさらなる発展を図る。
• データ収集が継続する中、世界中の研究者を支援するためにテキサスA&M大学の最新所見を共有する。

提案手法

• 初学レベルの工学学生リサーチアシスタントが作成したChatGPT生成の課題を、コースレベルを跨いで評価する。
• 課題を作成した教員がChatGPT出力を評価し、通常の学生の成績と比較する。
• ChatGPTに対する認識を把握するため、学生・教員・職員を対象に2023年3月に調査を実施し、2024年2月に追跡調査を実施した。
• 教育の混乱と適応ニーズの分析の枠組みとしてDANCEモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 教員・職員が観察する ChatGPT が学部レベルの工学課程の課題を完遂する能力はどの程度か。
• RQ2 学生・教員・職員はChatGPTをどのように認識し、それが学習環境に与える影響はどのようか。
• RQ3 生成系AIツールによる混乱に直面する教育者の適応設計に、DANCEモデルをどのように活用できるか。
• RQ4 同じ課題でChatGPTが作成した作品と通常の学生の成績を比較して、どんな洞察が生まれるか。
• RQ5 継続中のデータ収集と測定手法の検証が継続する中、どのような変化が見込まれるか。

主な発見

• 予備的な所見は、ChatGPTと工学教育におけるその破壊的な潜在性について顕著な認識を浮き彫りにしている。
• ChatGPT出力は課題の著者によって通常の学生の成績と比較して検討され、能力と限界についての初期的な洞察を提供した。
• 調査データの可視化は、採用、懸念、教育的影響に関する意味のある傾向とテーマを強調している。
• 本研究は未完成の作業であり、データ収集と測定手法の検証が進行中であることを明示している。
• 本研究は、世界的な学術コミュニティと初期の洞察を共有することを目的とした、テキサスA&M大学の広範な取り組みの一部である。