[论文解读] Attention Based Video Summaries of Live Online Zoom Classes

Hyowon Lee, Mingming Liu+4 more|arXiv (Cornell University)|Jan 15, 2021

Video Analysis and Summarization参考文献 17被引用 6

一句话总结

本文提出了Help-Me-Watch系统，该系统通过实时面部注意力分析与播放行为，生成针对个人的直播Zoom课程视频摘要。通过识别注意力低下时段，并结合同伴参与数据，系统生成个性化复习摘要，提升复习效率与参与度，在大学环境中部署表明其在符合GDPR条件下的实际可行性。

ABSTRACT

This paper describes a system developed to help University students get more from their online lectures, tutorials, laboratory and other live sessions. We do this by logging their attention levels on their laptops during live Zoom sessions and providing them with personalised video summaries of those live sessions. Using facial attention analysis software we create personalised video summaries composed of just the parts where a student's attention was below some threshold. We can also factor in other criteria into video summary generation such as parts where the student was not paying attention while others in the class were, and parts of the video that other students have replayed extensively which a given student has not. Attention and usage based video summaries of live classes are a form of personalised content, they are educational video segments recommended to highlight important parts of live sessions, useful in both topic understanding and in exam preparation. The system also allows a Professor to review the aggregated attention levels of those in a class who attended a live session and logged their attention levels. This allows her to see which parts of the live activity students were paying most, and least, attention to. The Help-Me-Watch system is deployed and in use at our University in a way that protects student's personal data, operating in a GDPR-compliant way.

研究动机与目标

• 通过基于人工智能的个性化视频摘要，解决在线Zoom课程中学生参与度与学习动机下降的问题。
• 开发一种系统，能够基于学生在直播课程中的注意力水平，识别并突出显示关键的遗漏内容。
• 为教授提供聚合的注意力反馈，以优化教学方式与课程内容设计。
• 通过匿名化、自愿参与的数据收集与处理，确保数据隐私并符合GDPR要求。
• 探究注意力波动性与内容特征如何影响在线教育中的学生学习与记忆保持。

提出的方法

• 系统使用面部注意力分析软件，在直播Zoom课程期间监测学生在笔记本电脑上的注意力水平，捕捉每秒的注意力评分。
• 通过选择学生注意力低于预设阈值的时段生成视频摘要，聚焦于遗漏或分心的时刻。
• 系统引入额外标准，例如他人注意力集中但该生分心的时段，以及他人重播但该生跳过的部分。
• 将学生间的聚合注意力数据以彩色编码的堆叠条形图形式可视化，展示班级整体的注意力趋势，包括课程开始/结束时间。
• 未来改进包括基于语音停顿与幻灯片切换智能剪辑摘要片段，以及整合音视频内容分析，将注意力与演示风格关联。
• 系统支持跨设备播放，并允许教授标记关键内容，确保所有学生的摘要中均包含该部分。

实验结果

研究问题

• RQ1 如何通过实时注意力监测，从直播在线课程中生成个性化视频摘要？
• RQ2 注意力波动性与分心模式对在线教育中学习成效有何影响？
• RQ3 如何将同伴参与数据（如重播行为）与个体注意力结合，以提升摘要的相关性？
• RQ4 聚合注意力反馈在多大程度上可帮助教师优化在线教学方式？
• RQ5 演示特征（如幻灯片时长、动画效果与语音音高）在维持学生注意力方面发挥何种作用？

主要发现

• Help-Me-Watch系统成功通过识别直播Zoom课程中注意力低下的时段，生成个性化视频摘要，参与者表现出高度的注意力波动性（例如，参与者D的平均波动性为0.323），表明频繁分心。
• 注意力波动性在不同学生间差异显著，且与特定时间段无明显相关性，表明讲座期间存在复杂的个体行为模式。
• 以堆叠条形图形式呈现的聚合注意力反馈显示，注意力高峰在全班范围内广泛存在，而非局限于少数学生，表明特定时段存在集体参与。
• 该系统已在真实大学环境中部署，并符合GDPR要求，通过匿名化数据处理与自愿参与机制确保隐私安全。
• 初步结果支持利用注意力与使用数据生成有意义的个性化内容摘要，从而提升复习效率与考试准备效果。
• 未来工作包括整合音视频内容分析，将注意力水平与特定演示特征（如语音音高、幻灯片切换）关联。