[論文レビュー] Waiting, Banning, and Embracing: An Empirical Analysis of Adapting Policies for Generative AI in Higher Education

Ping Xiao, Y. Chen+1 more|arXiv (Cornell University)|May 25, 2023

Artificial Intelligence in Healthcare and Education被引用数 11

ひとこと要約

本論文は世界のトップ大学がChatGPTのような生成型AIに関する方針をどのように設定しているかを実証的に分析し、方針の普及状況、内容、推進要因を明らかにしている。

ABSTRACT

Generative AI tools such as ChatGPT have recently gained significant attention in higher education. This study aims to understand how universities establish policies regarding the use of AI tools and explore the factors that influence their decisions. Our study examines ChatGPT policies implemented at universities around the world, including their existence, content, and issuance dates. Specifically, we analyzed the top 500 universities according to the 2022 QS World University Rankings. Our findings indicate that there is significant variation in university policies. Less than one-third of the universities included in the study had implemented ChatGPT policies. Of the universities with ChatGPT policies, approximately 67 percent embraced ChatGPT in teaching and learning, more than twice the number of universities that banned it. The majority of the universities that ban the use of ChatGPT in assessments allow individual instructors to deviate from this restrictive policy. Our empirical analysis identifies several factors that are significantly and positively correlated with a university's likelihood of having a ChatGPT policy, including the university's academic reputation score, being in an English-speaking country, and the general public attitudes toward ChatGPT. In addition, we found that a university's likelihood of having a ban policy is positively associated with faculty student ratio, citations, and the English-speaking country dummy, while negatively associated with the number of peer universities within the same country that have banned ChatGPT. We discuss the challenges faced by universities based our empirical findings.

研究の動機と目的

• 高等教育において、大学がChatGPTのような生成型AIツールに関する方針をどのように設定するかを調査する。
• トップ大学のChatGPT方針の存在、内容、発行日を評価する。
• ChatGPT方針を採用または禁止する可能性に関連する要因を特定する。

提案手法

• 2022年QSランキングの上位500校を対象に、ChatGPT方針の有無の実証データセットを構築した。
• 方針内容と発行日のコードブック分析。
• 方針採用と禁止決定に関連する要因を特定する統計分析。
• 学術的評判、言語、世間の態度との関連を回帰ベースで評価。

実験結果

リサーチクエスチョン

• RQ1 トップ大学のうち、どの程度がChatGPT方針を実施しているか？
• RQ2 一般的な方針の内容は何か、また教育・学習において方針がChatGPTを禁止しているのか、それとも容認しているのか？
• RQ3 ChatGPT方針を採用または禁止することと関連する大学の特徴は何か？

主な発見

• 調査対象の大学のうち、ChatGPT方針を実施しているのは3分の1未満だった。
• 方針を持つ大学の中で、教育・学習においてChatGPTを容認したのはおよそ67％、禁止した大学はそれより2倍以上であった。
• 禁止を採用している大学の大半は、実践上個々の教員が禁止から逸脱することを許している。
• 方針の採用は、学術的評判、英語圏の国、ChatGPTに対する公的な態度と正の相関がある。
• 禁止の可能性は、教員-学生比率、引用数、英語圏の国と正の関連がある一方、同じ国でChatGPTを禁止している同僚大学の数が多いほど負の関連がある。