[论文解读] Automated Anonymisation of Visual and Audio Data in Classroom Studies

Ömer Sümer, Peter Gerjets+2 more|arXiv (Cornell University)|Jan 14, 2020

Digital Media Forensic Detection参考文献 21被引用 9

一句话总结

本文提出了一种自动化、基于人工智能的课堂研究视听数据匿名化流程，结合人脸检测、说话人分割和语义分析，在保护隐私的同时保持数据实用性。该方法实现了对人脸和语音片段的高精度匿名化，使大规模教育研究在伦理上可行，且人工干预极少。

ABSTRACT

Understanding students' and teachers' verbal and non-verbal behaviours during instruction may help infer valuable information regarding the quality of teaching. In education research, there have been many studies that aim to measure students' attentional focus on learning-related tasks: Based on audio-visual recordings and manual or automated ratings of behaviours of teachers and students. Student data is, however, highly sensitive. Therefore, ensuring high standards of data protection and privacy has the utmost importance in current practices. For example, in the context of teaching management studies, data collection is carried out with the consent of pupils, parents, teachers and school administrations. Nevertheless, there may often be students whose data cannot be used for research purposes. Excluding these students from the classroom is an unnatural intrusion into the organisation of the classroom. A possible solution would be to request permission to record the audio-visual recordings of all students (including those who do not voluntarily participate in the study) and to anonymise their data. Yet, the manual anonymisation of audio-visual data is very demanding. In this study, we examine the use of artificial intelligence methods to automatically anonymise the visual and audio data of a particular person.

研究动机与目标

• 为解决在涉及视听记录的课堂研究中保护学生隐私的挑战，其中人工匿名化不切实际。
• 开发一种自动化流程，对教育录音中的面部特征、语音片段和敏感口语内容进行匿名化处理。
• 通过减少对参与者同意的依赖并避免排除未同意的学生，实现伦理合规的数据收集与分析。
• 创建一种可扩展的、保护隐私的替代方案，以取代传统课堂观察方法在教育研究中的应用。
• 支持符合GDPR及其他数据保护法规要求，在多模态教育数据收集中的合规性。

提出的方法

• 采用人脸检测及边界框扩展技术，对视频数据中的面部特征和发型外观进行匿名化处理。
• 应用说话人分割技术，识别并分离音频记录中的个体发言片段。
• 使用语音转文本转录及基于关键词的搜索，检测并匿名化口语内容中的人名、地点或机构名称。
• 将结果整合至标准多媒体标注工具（如VGG Image Annotator、ELAN）中，以实现最小程度的人工验证。
• 设计了一个模块化的匿名化流程，包含四个层级：问卷的假名化、硬生物特征匿名化（人脸）、软生物特征匿名化（姿势、手势）以及口语内容的语义匿名化。
• 提出一种轻量级界面，供非技术用户检查并修正自动化匿名化结果。

实验结果

研究问题

• RQ1 能否在高精度下可靠地将自动化人脸检测与匿名化应用于课堂视频记录？
• RQ2 说话人分割在多大程度上能准确识别并分割教育音频记录中的个体说话者？
• RQ3 语义分析在多大程度上能有效检测并匿名化口语内容中的个人身份信息，如姓名或地点？
• RQ4 自动化匿名化是否能显著减少人工数据处理需求，同时保持数据完整性和隐私性？
• RQ5 在教育研究背景下使用基于人工智能的匿名化时，需要多大程度的人工监督？

主要发现

• 本研究成功构建了一个6.5小时的课堂观察数据集，真实反映了现实教育场景。
• 通过计算机视觉实现的人脸匿名化达到高精度，可可靠保护视频数据中的硬生物特征。
• 说话人分割有效识别出发言聚类，从而实现对音频记录中个体声音的精确匿名化。
• 语义分析可检测并匿名化口语内容中的个人身份信息，如学生姓名或学校名称。
• 自动化流程显著减少了人工工作量，仅需极少人工检查即可完成验证。
• 该方法通过在多个层级实现数据匿名化（从假名化到敏感内容的语义抑制），支持符合GDPR要求。