[论文解读] Good proctor or "Big Brother"? AI Ethics and Online Exam Supervision Technologies

Simon Coghlan, Tim Miller+1 more|arXiv (Cornell University)|Nov 15, 2020

Academic integrity and plagiarism被引用 12

一句话总结

本文批判性地审视了人工智能驱动的在线监考技术在高等教育中的伦理影响，分析了隐私、自主性、公平性和信任等核心价值。文章认为，尽管此类系统可能有助于维护学术诚信，但其可能损害学生权利并削弱机构信任，因此呼吁教育机构在部署前建立透明、负责的治理框架。

ABSTRACT

This article philosophically analyzes online exam supervision technologies, which have been thrust into the public spotlight due to campus lockdowns during the COVID-19 pandemic and the growing demand for online courses. Online exam proctoring technologies purport to provide effective oversight of students sitting online exams, using artificial intelligence (AI) systems and human invigilators to supplement and review those systems. Such technologies have alarmed some students who see them as `Big Brother-like', yet some universities defend their judicious use. Critical ethical appraisal of online proctoring technologies is overdue. This article philosophically analyzes these technologies, focusing on the ethical concepts of academic integrity, fairness, non-maleficence, transparency, privacy, respect for autonomy, liberty, and trust. Most of these concepts are prominent in the new field of AI ethics and all are relevant to the education context. The essay provides ethical considerations that educational institutions will need to carefully review before electing to deploy and govern specific online proctoring technologies.

研究动机与目标

• 探讨人工智能驱动的在线监考技术在高等教育中带来的伦理挑战。
• 评估这些技术对隐私、自主性、公平性和信任等核心价值的影响。
• 识别在远程考试环境中，由于人工智能不透明性、监控行为和数据滥用所引发的伦理风险。
• 指导教育机构制定监考技术采用的伦理治理框架。
• 在维护学术诚信与保护学生权利及数字福祉之间取得平衡。

提出的方法

• 本研究采用基于人工智能伦理与教育哲学伦理原则的分析性哲学方法。
• 在在线监考背景下，评估学术诚信、公平性、非伤害性、透明度、隐私、自主性、自由与信任等关键伦理概念。
• 分析主流监考平台的实际能力，包括人工智能驱动的行为监控与面部识别技术。
• 评估监考系统中自动化决策、数据收集以及缺乏申诉机制的后果。
• 结合现有文献与公共讨论，评估远程考试监督中的伦理权衡。
• 本文倡导在技术选择与部署过程中实现机构问责与透明度。

实验结果

研究问题

• RQ1 人工智能驱动的在线监考系统在远程考试中如何影响学生的隐私与自主性？
• RQ2 这些技术在多大程度上可能因有偏见或不透明的人工智能判断而造成不公平结果？
• RQ3 在线监考在何种方式上可能助长更广泛的社会监控趋势并导致数字自由的削弱？
• RQ4 教育机构如何在维护信任与公平的前提下，伦理地管理监考技术的使用？
• RQ5 当监考系统透明度有限或缺乏申诉机制时，机构在选择与部署过程中承担哪些伦理责任？

主要发现

• 许多学生认为人工智能监考具有‘大兄弟’式的特征，引发对监控与隐私丧失的担忧。
• 人工智能驱动的监考系统可能因决策过程不透明及潜在的算法偏见而造成不公平结果。
• 部分平台使用面部识别技术并未经披露地共享数据，对学生的自主权与数据权利构成重大伦理风险。
• 若教育机构在缺乏透明政策的情况下采用监考技术，可能损害学生与教育机构之间的信任关系。
• 自动化监考带来的优势（如可扩展性与效率）必须与隐私与公平性方面的伦理损害进行审慎权衡。
• 教育机构必须建立强有力的治理框架，以确保问责制、透明度，并在错误指控发生时为学生提供申诉渠道。