[논문 리뷰] The AI Assessment Scale (AIAS) in action: A pilot implementation of GenAI supported assessment- A Preprint

Leon Furze, Mike Perkins외 2명|arXiv (Cornell University)|2024. 03. 15.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

본 논문은 GenAI가 통합된 평가를 안내하기 위해 AI Assessment Scale (AIAS)을 도입한 British University Vietnam에서의 파일럿 연구를 보고하며, 부정행위 감소 및 성취도 및 모듈 합격 개선을 가져왔다.

ABSTRACT

The rapid adoption of Generative Artificial Intelligence (GenAI) technologies in higher education has raised concerns about academic integrity, assessment practices, and student learning. Banning or blocking GenAI tools has proven ineffective, and punitive approaches ignore the potential benefits of these technologies. This paper presents the findings of a pilot study conducted at British University Vietnam (BUV) exploring the implementation of the Artificial Intelligence Assessment Scale (AIAS), a flexible framework for incorporating GenAI into educational assessments. The AIAS consists of five levels, ranging from 'No AI' to 'Full AI', enabling educators to design assessments that focus on areas requiring human input and critical thinking. Following the implementation of the AIAS, the pilot study results indicate a significant reduction in academic misconduct cases related to GenAI, a 5.9% increase in student attainment across the university, and a 33.3% increase in module passing rates. The AIAS facilitated a shift in pedagogical practices, with faculty members incorporating GenAI tools into their modules and students producing innovative multimodal submissions. The findings suggest that the AIAS can support the effective integration of GenAI in HE, promoting academic integrity while leveraging the technology's potential to enhance learning experiences. Refer to published version for final text.

연구 동기 및 목표

• 유연한 AIAS 프레임워크가 GenAI를 고등교육 평가에 어떻게 통합할 수 있는지 조사한다.
• AIAS-guided 평가가 GenAI 관련 부정행위를 감소시키는지 평가한다.
• AIAS 구현이 학생들의 달성도와 모듈 합격률에 미치는 영향을 평가한다.
• GenAI 도구가 통합될 때 교수학습 관행과 학생 작업 패턴의 변화를 조사한다.

제안 방법

• 'No AI'에서 'Full AI'까지의 다섯 단계로 AIAS를 채택하여 평가 과제를 설계한다.
• British University Vietnam에서 고등교육에 대한 파일럿 적용.
• 학문적 성실성, 달성도, 모듈 합격률에 관한 지표를 수집하고 분석한다.
• GenAI 활용 작업을 포함하도록 교수 실천과 학생 제출물이 어떻게 변화하는지 관찰한다.

실험 결과

연구 질문

• RQ1 AIAS를 사용하는가 GenAI 관련 학업 부정행위를 줄이는가?
• RQ2 AIAS-가이드 GenAI 통합이 학생 달성도와 모듈 합격률에 미치는 영향은 무엇인가?
• RQ3 AIAS가 적용될 때 교수 실천과 평가 설계는 어떻게 변화하는가?

주요 결과

• GenAI 관련 학업 부정행위의 유의미한 감소.
• 전 대학에서 학생 달성도 5.9% 증가.
• 모듈 합격률 33.3% 증가.
• 교수진이 모듈에 GenAI 도구를 통합하고 학생들이 다중형식 제출물을 생산한다.
• AIAS는 학문적 성실성과 학습 향상을 보존하면서 GenAI의 통합을 지원한다.