[논문 리뷰] Understanding Student and Academic Staff Perceptions of AI Use in Assessment and Feedback

Jasper Roe, Mike Perkins외 1명|arXiv (Cornell University)|2024. 06. 22.

Online Learning and Analytics인용 수 5

한 줄 요약

본 연구는 베트남과 싱가포르의 학생 및 교직원을 대상으로 GenAI에 대한 친숙도, 평가 및 피드백에서의 AI 인식, 텍스트 탐지 도구에 대한 견해 및 정책 시사점에 대해 이해하고자 한다.

ABSTRACT

The rise of Artificial Intelligence (AI) and Generative Artificial Intelligence (GenAI) in higher education necessitates assessment reform. This study addresses a critical gap by exploring student and academic staff experiences with AI and GenAI tools, focusing on their familiarity and comfort with current and potential future applications in learning and assessment. An online survey collected data from 35 academic staff and 282 students across two universities in Vietnam and one in Singapore, examining GenAI familiarity, perceptions of its use in assessment marking and feedback, knowledge checking and participation, and experiences of GenAI text detection. Descriptive statistics and reflexive thematic analysis revealed a generally low familiarity with GenAI among both groups. GenAI feedback was viewed negatively; however, it was viewed more positively when combined with instructor feedback. Academic staff were more accepting of GenAI text detection tools and grade adjustments based on detection results compared to students. Qualitative analysis identified three themes: unclear understanding of text detection tools, variability in experiences with GenAI detectors, and mixed feelings about GenAI's future impact on educational assessment. These findings have major implications regarding the development of policies and practices for GenAI-enabled assessment and feedback in higher education.

연구 동기 및 목표

• 학생 및 학술 직원들 사이에서 GenAI에 대한 친숙도를 평가한다.
• 평가 채점 및 피드백에서의 GenAI 사용에 대한 인식을 탐구한다.
• GenAI와 관련된 지식 확인 및 참여를 조사한다.
• GenAI 텍스트 탐지 도구에 대한 경험과 채점에 미치는 정책적 영향도 조사한다.

제안 방법

• 베트남과 싱가포르 전역에 걸쳐 35명의 학술 직원 및 282명의 학생들에게 배포된 온라인 설문조사.
• 친숙도, 인식, 및 경험을 요약하기 위한 기술통계.
• 개방형 응답에서 질적 주제를 식별하기 위한 반성적 주제 분석.

실험 결과

연구 질문

• RQ1 학생과 학술 직원들 사이에서 GenAI 친숙도 수준은 어느 정도인가?
• RQ2 학생과 학술 직원은 평가 채점 및 피드백에서 GenAI의 사용을 어떻게 인식하는가?
• RQ3 GenAI 텍스트 탐지 도구에 대한 경험과 관련된 채점 영향은 무엇인가?
• RQ4 교육 평가에 대한 GenAI의 향후 영향에 대해 어떤 주제가 등장하는가?

주요 결과

• GenAI 친숙도는 학생과 학술 직원 모두에서 일반적으로 낮다.
• GenAI 피드백은 독립적으로 사용할 때 부정적으로 보이지만 교수자의 피드백과 결합되면 더 긍정적으로 평가된다.
• 직원들은 학생들보다 GenAI 텍스트 탐지 도구와 탐지 결과에 기반한 채점 조정에 더 수용적이다.
• 질적 주제에는 탐지 도구에 대한 불명확한 이해, 탐지기 체험의 다양성, GenAI의 향후 영향에 대한 엇갈린 견해가 포함된다.