[论文解读] A Closer Look into Recent Video-based Learning Research: A Comprehensive Review of Video Characteristics, Tools, Technologies, and Learning Effectiveness

Evelyn Navarrete, Andreas Nehring+3 more|arXiv (Cornell University)|Jan 31, 2023

Image and Video Quality Assessment被引用 5

一句话总结

本文基于PRISMA指南，对2016至2021年间257项基于视频的学习（VBL）研究进行了全面综述，识别出八类视频特征类别和四类研究方向。研究发现，文本、视觉和交互特征是最常被研究的方面，深度学习在工具开发中被广泛使用，但同时也指出了在多模态整合以及除STEM领域外多样化视频风格方面的关键研究空白。

ABSTRACT

People increasingly use videos on the Web as a source for learning. To support this way of learning, researchers and developers are continuously developing tools, proposing guidelines, analyzing data, and conducting experiments. However, it is still not clear what characteristics a video should have to be an effective learning medium. In this paper, we present a comprehensive review of 257 articles on video-based learning for the period from 2016 to 2021. One of the aims of the review is to identify the video characteristics that have been explored by previous work. Based on our analysis, we suggest a taxonomy which organizes the video characteristics and contextual aspects into eight categories: (1) audio features, (2) visual features, (3) textual features, (4) instructor behavior, (5) learners activities, (6) interactive features (quizzes, etc.), (7) production style, and (8) instructional design. Also, we identify four representative research directions: (1) proposals of tools to support video-based learning, (2) studies with controlled experiments, (3) data analysis studies, and (4) proposals of design guidelines for learning videos. We find that the most explored characteristics are textual features followed by visual features, learner activities, and interactive features. Text of transcripts, video frames, and images (figures and illustrations) are most frequently used by tools that support learning through videos. The learner activity is heavily explored through log files in data analysis studies, and interactive features have been frequently scrutinized in controlled experiments. We complement our review by contrasting research findings that investigate the impact of video characteristics on the learning effectiveness, report on tasks and technologies used to develop tools that support learning, and summarize trends of design guidelines to produce learning videos

研究动机与目标

• 识别并分类影响基于视频的学习（VBL）学习效果的视频特征。
• 分析VBL中的四个主要研究方向：工具提出、受控实验、数据分析和设计指南开发。
• 评估深度学习和多模态分析在VBL工具开发和学习效果中的作用。
• 识别研究空白，特别是非STEM学科的代表性不足以及多样化视频制作风格使用有限的问题。
• 提出一个视频特征和上下文要素的分类体系，以指导未来的VBL研究和工具开发。

提出的方法

• 基于PRISMA指南，对计算机科学数据库（ACM、IEEE、DBLP）中的257项VBL研究进行系统性文献综述。
• 将视频特征划分为八个领域：音频、视觉、文本、讲师行为、学习者活动、交互特征、制作风格和教学设计。
• 分析四类研究方法：工具提出、受控实验、数据分析（使用日志、生物特征等）和设计指南提案。
• 识别主导技术，尤其是深度学习，在视频分析、分割、OCR、语音转文本以及学习工具的端到端流程开发中的应用。
• 比较不同研究中的实验条件和视频特征，以评估学习效果发现的一致性与异质性。
• 综合设计指南的趋势，并为内容创作者、教育工作者和平台开发者提出建议。

Figure 1. The diagram shows the process of finding VBL-related articles in the databases. From an initial set of 390 papers, we removed duplicates and papers that did not fit the inclusion criteria. The final set consists of 257 articles from 2016 to 2021.

实验结果

研究问题

• RQ1 2016至2021年间，基于视频的学习研究中最常被研究的视频特征是什么？
• RQ2 不同研究方法——工具开发、受控实验、数据分析和指南提案——如何共同促进对VBL有效性的理解？
• RQ3 在受控实验中，哪些视频制作风格和模态（如音频、视觉、文本等）最为普遍，原因是什么？
• RQ4 多模态表征和深度学习在VBL工具开发和学习结果预测中被整合到何种程度？
• RQ5 当前VBL研究中的关键空白是什么，特别是在学科多样性、视频风格和学习者情境方面？

主要发现

• 文本特征（如字幕、转录稿）是最常被研究的视频特征，其次是视觉特征（如画面、图像、插图）。
• 学习者活动主要通过日志文件分析研究，而交互特征（如测验）则最常在受控实验中进行评估。
• 深度学习是工具开发中的主导技术，广泛应用于视频分割、OCR、语音转文本、嵌入表示以及推荐和学习预测的端到端流程开发。
• 幻灯片风格在受控实验中最为普遍，而手写、屏幕录制和虚拟现实风格则代表性不足。
• 尽管深度学习被广泛使用，但很少有研究将多模态表征整合以建模同步的音视频文本交互，而这正是实现类人学习理解的关键需求。
• 仅有少数研究提出了设计指南，且大多数指南较为通用；迫切需要针对特定学科、基于实证证据的指导原则，以实现有效的视频制作。

Figure 2. The diagram shows the share of the different research directions identified in this review. Tools and studies that perform controlled experiments constituted the main research directions.