[논문 리뷰] Waiting, Banning, and Embracing: An Empirical Analysis of Adapting Policies for Generative AI in Higher Education

Ping Xiao, Y. Chen외 1명|arXiv (Cornell University)|2023. 05. 25.

Artificial Intelligence in Healthcare and Education인용 수 11

한 줄 요약

본 연구는 전 세계 상위 대학들이 ChatGPT와 같은 생성형 AI에 대한 정책을 어떻게 수립하는지 실증적으로 분석하고, 정책의 확산 정도, 내용 및 결정 요인을 밝혀낸다.

ABSTRACT

Generative AI tools such as ChatGPT have recently gained significant attention in higher education. This study aims to understand how universities establish policies regarding the use of AI tools and explore the factors that influence their decisions. Our study examines ChatGPT policies implemented at universities around the world, including their existence, content, and issuance dates. Specifically, we analyzed the top 500 universities according to the 2022 QS World University Rankings. Our findings indicate that there is significant variation in university policies. Less than one-third of the universities included in the study had implemented ChatGPT policies. Of the universities with ChatGPT policies, approximately 67 percent embraced ChatGPT in teaching and learning, more than twice the number of universities that banned it. The majority of the universities that ban the use of ChatGPT in assessments allow individual instructors to deviate from this restrictive policy. Our empirical analysis identifies several factors that are significantly and positively correlated with a university's likelihood of having a ChatGPT policy, including the university's academic reputation score, being in an English-speaking country, and the general public attitudes toward ChatGPT. In addition, we found that a university's likelihood of having a ban policy is positively associated with faculty student ratio, citations, and the English-speaking country dummy, while negatively associated with the number of peer universities within the same country that have banned ChatGPT. We discuss the challenges faced by universities based our empirical findings.

연구 동기 및 목표

• 고등 교육에서 ChatGPT와 같은 생성형 AI 도구에 대해 대학들이 정책을 어떻게 수립하는지 조사한다.
• 상위 대학들 사이에서 ChatGPT 정책의 존재 여부, 내용, 발령 날짜를 평가한다.
• ChatGPT 정책의 도입 또는 금지 가능성과 관련된 대학 특성 요인들을 확인한다.

제안 방법

• 2022 QS 순위 기준 상위 500개 대학의 ChatGPT 정책 존재 여부에 대한 실증 데이터 세트를 구축하였다.
• 정책 내용 및 발령 날짜에 대한 코드북 분석.
• 정책 도입 및 금지 결정과 상관관계가 있는 요인을 식별하기 위한 통계 분석.
• 학문적 명성, 언어, 공공 태도와의 연관성에 대한 회귀 기반 평가.

실험 결과

연구 질문

• RQ1 상위 대학 중 ChatGPT 정책을 시행한 비율은 얼마인가?
• RQ2 일반적인 정책 내용은 무엇이며, 정책이 가르침과 학습에서 ChatGPT를 금지하는지 수용하는지 여부는 무엇인가?
• RQ3 ChatGPT 정책을 도입하거나 금지하는 것과 관련된 대학의 특성은 무엇인가?

주요 결과

• 연구 대상 대학의 3분의 1 미만이 ChatGPT 정책을 시행했다.
• 정책이 있는 대학 중 약 67%가 교육 및 학습에서 ChatGPT를 수용했으며, 이를 금지한 대학은 그 수의 두 배 이상이었다.
• 금지를 택한 대학의 다수는 실제로 개인 강사가 금지 조치를 벗어나도록 허용한다.
• 정책 도입은 학문적 명성, 영어권 국가, ChatGPT에 대한 공공 태도와 양의 상관관계가 있다.
• 금지 가능성은 교수-학생 비율, 인용 수, 영어권 국가와 양의 상관관계가 있지만, 같은 나라에서 ChatGPT를 금지한 동종 대학의 수와는 음의 상관관계가 있다.