[論文レビュー] Understanding Student and Academic Staff Perceptions of AI Use in Assessment and Feedback

Jasper Roe, Mike Perkins+1 more|arXiv (Cornell University)|Jun 22, 2024

Online Learning and Analytics被引用数 5

ひとこと要約

本研究はベトナムとシンガポールの学生と学術職員を対象に、GenAIへの熟知度、評価とフィードバックにおけるAIの認識、テキスト検出ツールと政策の影響に対する見解を理解する調査である。

ABSTRACT

The rise of Artificial Intelligence (AI) and Generative Artificial Intelligence (GenAI) in higher education necessitates assessment reform. This study addresses a critical gap by exploring student and academic staff experiences with AI and GenAI tools, focusing on their familiarity and comfort with current and potential future applications in learning and assessment. An online survey collected data from 35 academic staff and 282 students across two universities in Vietnam and one in Singapore, examining GenAI familiarity, perceptions of its use in assessment marking and feedback, knowledge checking and participation, and experiences of GenAI text detection. Descriptive statistics and reflexive thematic analysis revealed a generally low familiarity with GenAI among both groups. GenAI feedback was viewed negatively; however, it was viewed more positively when combined with instructor feedback. Academic staff were more accepting of GenAI text detection tools and grade adjustments based on detection results compared to students. Qualitative analysis identified three themes: unclear understanding of text detection tools, variability in experiences with GenAI detectors, and mixed feelings about GenAI's future impact on educational assessment. These findings have major implications regarding the development of policies and practices for GenAI-enabled assessment and feedback in higher education.

研究の動機と目的

• GenAIへの熟知度を学生と学術職員の間で評価する。
• 評価の採点とフィードバックにおけるGenAIの使用についての認識を探る。
• GenAIに関連する知識確認と参加について検討する。
• GenAIのテキスト検出と評価への影響に関する経験と態度を調査する。

提案手法

• ベトナムとシンガポールの35名の学術職員と282名の学生にオンライン調査を配布。
• 熟知度、認識、経験を要約する記述統計。
• オープン回答から定性的テーマを特定する反射的主題分析。

実験結果

リサーチクエスチョン

• RQ1 学生と学術職員のGenAI熟知度はどの程度か。
• RQ2 学生と学術職員は評価の採点とフィードバックにおけるGenAIの使用をどう認識しているか。
• RQ3 GenAIテキスト検出ツールとそれに伴う評定の影響における経験はどうか。
• RQ4 GenAIが教育評価に与える将来の影響について、どんなテーマが浮かび上がるか。

主な発見

• GenAI熟知度は、学生と学術職員の双方で一般に低い。
• GenAIのフィードバックは、単独での評価では否定的に見られるが、講師のフィードバックと組み合わせるとより肯定的である。
• スタッフは、検出ツールと検出結果に基づく成績調整を学生よりも受け入れやすい。
• 定性的テーマには、検出ツールの理解が不明瞭、検出器の経験にばらつき、GenAIの将来の教育評価への影響に対する見解が混在する、などが含まれる。