[论文解读] Educators' Perspectives of Using (or Not Using) Online Exam Proctoring

David G. Balash, Rahel A. Fainchtein+4 more|arXiv (Cornell University)|Feb 24, 2023

Academic integrity and plagiarism被引用 4

一句话总结

本研究调查了疫情期间教育工作者对在线考试监考工具的看法，发现21%的受访教师使用了此类工具，主要目的是防止作弊，尽管对学生的隐私和安全存在担忧。主要发现显示，教育工作者往往更信任机构的背书，而非技术风险；许多教师已转向替代性评估方式以避免监考，凸显了机构在隐私权衡方面亟需提供指导。

ABSTRACT

The onset of the COVID-19 pandemic changed the landscape of education and led to increased usage of remote proctoring tools that are designed to monitor students when they take assessments outside the classroom. While prior work has explored students' privacy and security concerns regarding online proctoring tools, the perspective of educators is under explored. Notably, educators are the decision makers in the classrooms and choose which remote proctoring services and the level of observations they deem appropriate. To explore how educators balance the security and privacy of their students with the requirements of remote exams, we sent survey requests to over 3,400 instructors at a large private university that taught online classes during the 2020/21 academic year. We had n=125 responses: 21% of the educators surveyed used online exam proctoring services during the remote learning period, and of those, 35% plan to continue using the tools even when there is a full return to in-person learning. Educators who use exam proctoring services are often comfortable with their monitoring capabilities. However, educators are concerned about students sharing certain types of information with exam proctoring companies, particularly when proctoring services collect identifiable information to validate students' identities. Our results suggest that many educators developed alternative assessments that did not require online proctoring and that those who did use online proctoring services often considered the tradeoffs between the potential risks to student privacy and the utility or necessity of exam proctoring services.

研究动机与目标

• 了解教育工作者在远程学习驱动的转型期间对在线考试监考工具的看法。
• 考察教育工作者在决定使用监考工具时，如何权衡学生隐私与安全顾虑和学术诚信要求。
• 识别教育工作者选择的特定监考方式及其影响选择的因素。
• 探讨机构信任在塑造教育工作者采用侵入式监控软件决策中的作用。
• 通过识别教育工作者在监考工具隐私与安全风险方面培训和意识方面的缺口，为机构政策提供依据。

提出的方法

• 对一所大型私立大学在2020/21学年教授在线课程的3,460名教师开展了全校范围、经IRB批准的调查。
• 收集并分析了来自12个组织单位的125份有效调查回复，涵盖资深与初级教师及研究生教育者。
• 采用混合方法分析：对使用率和偏好的定量分析，以及对开放性回答中动机与顾虑的定性主题编码。
• 将教育工作者选择使用或避免监考的决策与特定风险认知（如身份数据收集和软件监控能力）进行映射。
• 评估机构信任在降低感知风险方面的作用，分析教育工作者如何将对机构的信任转移至第三方监考供应商。
• 通过公共GitHub仓库共享所有数据、脚本和代码本，以确保可复现性和透明度。

实验结果

研究问题

• RQ1 RQ1：教育工作者对在线监考服务的看法如何，特别是其功能和感知风险？
• RQ2 RQ2：教育工作者在决定使用（或不使用）在线监考时，是否考虑学生隐私与安全顾虑，以及他们如何设定监考参数？
• RQ3 RQ3：教育工作者为在线考试选择哪些监考方式，其选择受哪些因素影响？
• RQ4 RQ4：机构背书在多大程度上影响教育工作者对第三方监考工具的信任？这对学生隐私有何影响？
• RQ5 RQ5：教育工作者采用哪些替代性评估策略以避免使用在线监考？他们如何评估安全、隐私与学术诚信之间的权衡？

主要发现

• 在2020/21年远程学习期间，21%的受访教育工作者使用了在线考试监考工具，其中35%的用户计划在恢复面授教学后继续使用。
• 教育工作者对监考服务收集可识别信息（尤其是身份验证信息）表示严重担忧，凸显了关键的隐私风险点。
• 尽管使用了监考工具，许多教育工作者仍对其实际检测或阻止复杂作弊手段（如第二台设备或虚拟机）的能力持怀疑态度。
• 大量教育工作者开发了无需监考的替代性评估方式，表明其对非侵入性评估方法的偏好日益增强。
• 教育工作者经常将对机构的信任转移至监考软件，认为机构审核确保了安全性，尽管近期的漏洞和安全事件与此假设相悖。
• 本研究揭示了一个关键的机构培训缺口：尽管教育工作者拥有决策权，但许多人对监考工具相关的隐私与安全风险缺乏认知。