[论文解读] A literature survey on student feedback assessment tools and their usage in sentiment analysis

Himali Aryal|arXiv (Cornell University)|Sep 9, 2021

Online Learning and Analytics参考文献 59被引用 4

一句话总结

本文综述了在线教育中反馈评估工具（如 Kahoot!、Mentimeter 和 Padlet）的应用，提出了一套情感分析框架，以从定性反馈中提取学生态度。研究发现 Kahoot! 是使用最广泛的工具，并指出了在针对特定工具反馈进行情感分析方面的研究空白，提出了一个包含数据收集、预处理、特征提取和分类器训练的处理流程，用于情感分类。

ABSTRACT

Online learning is becoming increasingly popular, whether for convenience, to accommodate work hours, or simply to have the freedom to study from anywhere. Especially, during the Covid-19 pandemic, it has become the only viable option for learning. The effectiveness of teaching various hard-core programming courses with a mix of theoretical content is determined by the student interaction and responses. In contrast to a digital lecture through Zoom or Teams, a lecturer may rapidly acquire such responses from students' facial expressions, behavior, and attitude in a physical session, even if the listener is largely idle and non-interactive. However, student assessment in virtual learning is a challenging task. Despite the challenges, different technologies are progressively being integrated into teaching environments to boost student engagement and motivation. In this paper, we evaluate the effectiveness of various in-class feedback assessment methods such as Kahoot!, Mentimeter, Padlet, and polling to assist a lecturer in obtaining real-time feedback from students throughout a session and adapting the teaching style accordingly. Furthermore, some of the topics covered by student suggestions include tutor suggestions, enhancing teaching style, course content, and other subjects. Any input gives the instructor valuable insight into how to improve the student's learning experience, however, manually going through all of the qualitative comments and extracting the ideas is tedious. Thus, in this paper, we propose a sentiment analysis model for extracting the explicit suggestions from the students' qualitative feedback comments.

研究动机与目标

• 评估 Kahoot!、Mentimeter 和 Padlet 等数字反馈工具在在线学习环境中的有效性。
• 研究通过这些工具收集的定性反馈中应用情感分析，以理解学生态度。
• 识别在反馈评估工具（而非 Coursera 等通用平台）上应用情感分析的研究空白。
• 提出一种结构化的情感分析流程，基于学生反馈实现实时教学调整。

提出的方法

• 在 2021 年秋季课程中，从 Kahoot!、Mentimeter 和 Padlet 收集学生反馈数据。
• 文本预处理包括大小写标准化、停用词移除、标点符号删除，以及对感叹号和问号的处理。
• 使用词频、词性标注、否定词检测，并整合 SentiWordNet 和 WordNet 等词汇资源，以获取语义上下文。
• 采用多种分类器（如朴素贝叶斯、支持向量机和卷积神经网络（CNN））进行模型训练。
• 应用本体论和同义词词典，以增强学生评论中的语义表示与观点检测。
• 通过不同特征集和算法评估模型性能，以确定最优配置。

实验结果

研究问题

• RQ1 2015 年至 2021 年间，有多少篇论文使用数字工具进行反馈收集或测验？
• RQ2 关于反馈评估工具的研究主要发表于哪些出版物？
• RQ3 在研究中，哪一种反馈评估工具被最频繁地探讨？
• RQ4 关于反馈工具的研究主要在何时集中出现？
• RQ5 教育研究中，评估反馈技术最广泛使用的评价指标是什么？
• RQ6 基于实时学生反馈在直播课程中动态调整教学的效率如何？
• RQ7 如何有效将情感分析应用于 Kahoot!、Mentimeter 和 Padlet 等工具的定性反馈，以评估学生态度？

主要发现

• Kahoot! 被确定为所调研技术中使用最广泛的反馈评估工具。
• 文献综述的元数据分析共纳入 154 篇文章。
• 尽管在 Coursera 和社交媒体等平台上的情感分析已有大量研究，但针对 Kahoot!、Mentimeter 和 Padlet 等工具反馈的情感分析研究仍基本未被探索。
• 研究发现，实时反馈系统受到学生和教师的积极评价，支持动态教学调整。
• 所提出的感情分析模型包括数据预处理、利用词汇数据库的语义特征提取，以及分类器训练，以提高情感分类的准确性。
• 在针对课堂评估工具收集的反馈中应用情感分析方面存在显著研究空白，表明该领域亟需未来研究工作。