[논문 리뷰] A Preliminary Exploration of the Disruption of a Generative AI Systems: Faculty/Staff and Student Perceptions of ChatGPT and its Capability of Completing Undergraduate Engineering Coursework

Lance White, Trini Balart외 3명|arXiv (Cornell University)|2024. 03. 03.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

요약: 이 논문은 ChatGPT의 학부 공학 과제 완성 능력을 조사하고, 혼란 속에서 교수진, 직원, 학생의 인식을 탐구하며, 교수가 변화에 적응하도록 DANCE 모델을 가이드로 활용합니다.

ABSTRACT

The authors of this study aim to assess the capabilities of the OpenAI ChatGPT tool to understand just how effective such a system might be for students to utilize in their studies as well as deepen understanding of faculty/staff and student perceptions about ChatGPT in general. The purpose of what is learned from the study is to continue the design of a model to facilitate the development of faculty for becoming adept at embracing change, the DANCE model (Designing Adaptations for the Next Changes in Education). This model is used in this study to help faculty with examining the impact that a disruptive new tool, such as ChatGPT, can pose for the learning environment. The authors analyzed the performance of ChatGPT used to complete course assignments at a variety of levels by novice engineering students working as research assistants. Those completed works have been assessed by the faculty who created those assignments to understand how these completed assignments might compare with the performance of a typical student. A set of surveys conducted by the authors of this work are discussed where students, faculty, and staff respondents in March of 2023 addressed their perceptions of ChatGPT (A follow-up survey is being administered now, February 2024). These survey instruments were analyzed, and the data visualized in this work to bring attention to relevant findings by the researchers. This work reports the findings of the researchers with the purpose of sharing the current state of this work at Texas A&M University with the intention to provide insights to scholars both at our own institution and around the world. This work is not intended to be a finished work but reports these findings with full transparency that this work is currently continuing as the researchers gather new data and develop and validate various measurement instruments.

연구 동기 및 목표

• 학생 연구 보조원을 활용하여 다중 수준의 공학 과제에 대한 OpenAI의 ChatGPT의 능력을 평가한다.
• ChatGPT와 학습 환경에 대한 교수진, 직원, 학생의 인식을 이해한다.
• 교육의 다음 변화에 대한 설계를 위한 적응 도구(DANCE 모델)를 활용하고 발전시켜 교수진의 파괴적 도구 대응을 안내한다.
• 데이터 수집이 계속되는 동안 전 세계 학자들을 지원하기 위해 텍사스 A&M 대학교의 현황 발견을 공유한다.

제안 방법

• 과정 수준에 걸쳐 초보 공학 학생 연구 보조원이 생성한 ChatGPT 기반 과정을 평가한다.
• 과제를 만든 교수진이 ChatGPT 산출물을 평가하여 일반적인 학생 수행과 비교한다.
• ChatGPT에 대한 인식을 포착하기 위해 학생, 교수진 및 직원 대상 설문조사를 실시한다(2023년 3월); 2024년 2월에 후속 설문조사를 실시했다.
• 교육의 혼란 및 적응 필요를 분석하기 위해 DANCE 모델을 적용한다.

실험 결과

연구 질문

• RQ1 교수진 및 staff에 의해 관찰된 ChatGPT가 학부 공학 과제 이를 완수하는 능력은 무엇인가?
• RQ2 학생, 교수진 및 직원은 ChatGPT와 학습 환경에 미치는 영향에 대해 어떻게 인식하는가?
• RQ3 생성형 AI 도구로 인한 혼란에 직면한 교육자를 설계하기 위해 DANCE 모델을 어떻게 활용할 수 있는가?
• RQ4 동일 과제에 대해 ChatGPT가 생산한 작업과 일반 학생 수행을 비교할 때 어떤 통찰이 나타나는가?
• RQ5 기관에서 지속적인 데이터 수집 및 도구 검증이 계속되는 동안 어떤 변화가 예상되는가?

주요 결과

• 예비 결과는 공학 교육에서 ChatGPT의 혼란 잠재력에 대한 주목할 만한 인식이 있음을 강조한다.
• ChatGPT 산출물은 과제 저자들에 의해 일반적인 학생 수행과 비교되어 능력과 한계에 대한 초기 통찰을 제공한다.
• 설문 데이터 시각화는 채택, 우려 및 교수 영향과 관련된 의미 있는 경향과 주제를 강조한다.
• 이 연구는 명시적으로 완성된 작업이 아니며 데이터 수집 및 도구 검증이 진행 중임을 밝힌다.
• 본 연구는 글로벌 학술 커뮤니티와 공유하기 위한 텍사스 A&M 대학교의 초기 인사이트 공유라는 더 큰 노력에 기여한다.