[论文解读] Fine-Grained Classroom Activity Detection from Audio with Neural Networks

Eric Slyman, Christopher Daw+3 more|arXiv (Cornell University)|Jul 29, 2021

Communication in Education and Healthcare被引用 4

一句话总结

该论文提出了一种深度学习框架，通过使用梅尔滤波器组、OpenSmile 和 PASE+ 特征，结合双向 GRU 与卷积网络，从音频中实现细粒度的课堂活动检测。该方法在未见教师的 4 分类任务中将帧级错误率降低了 35.4%，在聚合时间估计方面相比基线模型减少了 54.9% 的错误，达到最先进性能。

ABSTRACT

Instructors are increasingly incorporating student-centered learning techniques in their classrooms to improve learning outcomes. In addition to lecture, these class sessions involve forms of individual and group work, and greater rates of student-instructor interaction. Quantifying classroom activity is a key element of accelerating the evaluation and refinement of innovative teaching practices, but manual annotation does not scale. In this manuscript, we present advances to the young application area of automatic classroom activity detection from audio. Using a university classroom corpus with nine activity labels (e.g., "lecture," "group work," "student question"), we propose and evaluate deep fully connected, convolutional, and recurrent neural network architectures, comparing the performance of mel-filterbank, OpenSmile, and self-supervised acoustic features. We compare 9-way classification performance with 5-way and 4-way simplifications of the task and assess two types of generalization: (1) new class sessions from previously seen instructors, and (2) previously unseen instructors. We obtain strong results on the new fine-grained task and state-of-the-art on the 4-way task: our best model obtains frame-level error rates of 6.2%, 7.7% and 28.0% when generalizing to unseen instructors for the 4-way, 5-way, and 9-way classification tasks, respectively (relative reductions of 35.4%, 48.3% and 21.6% over a strong baseline). When estimating the aggregate time spent on classroom activities, our average root mean squared error is 1.64 minutes per class session, a 54.9% relative reduction over the baseline.

研究动机与目标

• 实现无需依赖转录文本或说话人注册的、可扩展的、自动化的细粒度课堂活动检测。
• 解决在真实环境中泛化到之前未见过的教师、教室和课程类型所带来的挑战。
• 通过仅使用音频输入，提高对不同课堂活动持续时间估计的准确性。
• 评估自监督、梅尔滤波器组和 OpenSmile 声学特征在低资源、远场课堂环境下的有效性。
• 建立仅使用标准网络摄像头音频的细粒度（9 分类）课堂活动识别基准。

提出的方法

• 在课堂录音的音频特征上训练深度神经网络——全连接层、空洞时间卷积层以及单向/双向门控循环单元（GRUs）。
• 评估三种输入特征集：梅尔滤波器组、OpenSmile 和 PASE+ 自监督嵌入，分别及组合使用。
• 使用 9 分类标签集（例如：讲课、小组活动、学生提问），并简化为 5 分类和 4 分类变体以进行对比分析。
• 应用数据增强和交叉验证以提升泛化能力，尤其针对未见教师的情况。
• 采用帧级分类方法，结合早停和模型平均策略，以优化在未见数据上的性能。
• 在两个测试集上评估泛化性能：之前见过的教师的新会话，以及完全未见过的教师的新会话。

实验结果

研究问题

• RQ1 深度神经网络能否仅使用标准网络摄像头的音频，实现高精度的细粒度（9 分类）课堂活动检测？
• RQ2 在课堂活动识别中，不同声学特征集（梅尔滤波器组、OpenSmile、PASE+）的性能表现如何比较？
• RQ3 在已见教师上训练的模型，能在多大程度上泛化到之前未见过的教师和课堂环境？
• RQ4 当从 9 分类简化为 5 分类和 4 分类任务时，性能下降程度如何？
• RQ5 在无转录或注册数据的情况下，模型能否准确估计每项课堂活动的总持续时间？

主要发现

• 最佳模型为使用全部三种特征类型（梅尔滤波器组、OpenSmile、PASE+）的双向 GRU，在 4 分类任务中对未见教师的帧级错误率为 6.2%。
• 在 4 分类任务中，该模型相比强基线模型将帧级错误率相对降低了 35.4%；在 5 分类任务中，相对降低达 48.3%。
• 在聚合时间估计方面，模型实现了每节课 1.64 分钟的均方根误差（RMSE），相比基线模型相对减少了 54.9%。
• 模型在未见教师上泛化良好，时间估计的 RMSE 相对降低 54.9%，且在 4 分类任务上取得了 0.928 的加权 F1 分数。
• 混淆主要发生在相似的单人语音类别之间（如：学生与教师讲话），以及混乱活动之间（如：其他与小组活动）。
• 自监督的 PASE+ 特征单独使用或与其他特征组合时，在所有任务和泛化设置下均表现最佳。