[논문 리뷰] On Perception of Prevalence of Cheating and Usage of Generative AI

Roman Denkin|arXiv (Cornell University)|2024. 05. 29.

Economic and Technological Systems Analysis인용 수 5

한 줄 요약

이 논문은 우프스칼라 대학교 IT teaching staff를 대상으로 부정행위 인지 범위, 추세, 그리고 생성형 AI 사용을 이해하고, 인식과 2004–2023년 기관 부정행위 데이터와 비교합니다.

ABSTRACT

This report investigates the perceptions of teaching staff on the prevalence of student cheating and the impact of Generative AI on academic integrity. Data was collected via an anonymous survey of teachers at the Department of Information Technology at Uppsala University and analyzed alongside institutional statistics on cheating investigations from 2004 to 2023. The results indicate that while teachers generally do not view cheating as highly prevalent, there is a strong belief that its incidence is increasing, potentially due to the accessibility of Generative AI. Most teachers do not equate AI usage with cheating but acknowledge its widespread use among students. Furthermore, teachers' perceptions align with objective data on cheating trends, highlighting their awareness of the evolving landscape of academic dishonesty.

연구 동기 및 목표

• 오늘날 학생 부정행위가 얼마나 일반적인지에 대한 교수진의 인식 평가.
• 교수들이 자신의 경력 동안 부정행위 유병률이 증가하고 있다고 생각하는지 평가.
• 부정행위의 한 요인으로 생성형 AI 활용에 대한 교수들의 견해 조사.
• 주관적 인식과 객관적 대학 부정행위 조사 통계(2004–2023) 간의 일치 여부 확인.
• 교수 경력에 따른 인식 차이 탐색.
• AI 시대의 학문적 진실성 정책에 대한 시사점 제시.

제안 방법

• 우프스칼라 대학교 IT학과 32명의 교원을 대상으로 한 익명 설문조사.
• 설문 질문은 교수 경력, 인식된 부정행위 유병률, 추세, 생성형 AI 사용(리커트 척도)을 다룸.
• 설문 결과와 2004–2023년 기관 부정행위 조사 통계의 상관관계 분석.
• 5년 미만 vs 5년 초과의 교수 경험에 따른 분류를 통한 경험 기반 분석.
• 객관적 데이터와 일치시키기 위한 기술적 요약 통계 및 추세 분석.

Figure 1: Distribution of teachers number per years of experience (cumulative)

실험 결과

연구 질문

• RQ1 교수진이 인식하는 학생 부정행위의 유병률은 어느 수준인가?
• RQ2 교수들은 자신의 teaching 경력 동안 부정행위가 증가하는 추세를 인식하는가?
• RQ3 교수들은 부정행위와 관련해 생성형 AI의 활용을 어떻게 보는가?
• RQ4 주관적 인식과 객관적 부정행위 조사 데이터 간에 일치가 있는가?
• RQ5 인식은 교수 경력에 따라 달라지는가?

주요 결과

• 교수들은 부정행위가 그리 널리 퍼져 있지 않다고 보는 경향이지만 시간이 지남에 따라 증가하고 있다고 믿는다.
• 다수는 글 작성을 위한 생성형 AI 사용이 반드시 부정행위로 간주되진 않는다고 보면서도 학생들의 광범위한 사용을 인정한다.
• 객관적 데이터는 2004–2023년 동안 부정행위 조사가 증가했음을 보여주며, COVID-19 정점은 인식과 일치한다.
• 교수들의 추세 인식과 실제 부정행위 조사 추세 간의 일치가 존재한다.
• 더 많은 경력을 가진 교수들이 응답의 폭이 더 넓으며, 부정행위가 매우 일반적이라고 믿는 이들도 있다.
• 학생들이 생성형 AI를 사용하는 것은 광범위하다고 인식되지만, 이것이 AI 사용이 부정행위에 해당하는지 여부와는 별개로 여겨진다.

Figure 2: Responses of full group of teachers (1 to 32 years of experience)