[论文解读] Incorporating Domain Knowledge To Improve Topic Segmentation Of Long MOOC Lecture Videos

Ananda Kumar Das, Partha Pratim Das|arXiv (Cornell University)|Dec 8, 2020

Video Analysis and Summarization被引用 4

一句话总结

本文提出了一种混合方法，通过结合先进的语言模型（带有注意力机制的LSTM）与领域知识图谱，提升长时长MOOC讲座视频的主题分割准确性，尤其针对较长的主题。该方法结合了语言模型的局部语义理解与知识图谱的全局概念关系，相较于基线方法取得了更高的准确率，尤其在持续时间超过15分钟的主题上表现更优。

ABSTRACT

Topical Segmentation poses a great role in reducing search space of the topics taught in a lecture video specially when the video metadata lacks topic wise segmentation information. This segmentation information eases user efforts of searching, locating and browsing a topic inside a lecture video. In this work we propose an algorithm, that combines state-of-the art language model and domain knowledge graph for automatically detecting different coherent topics present inside a long lecture video. We use the language model on speech-to-text transcription to capture the implicit meaning of the whole video while the knowledge graph provides us the domain specific dependencies between different concepts of that subjects. Also leveraging the domain knowledge we can capture the way instructor binds and connects different concepts while teaching, which helps us in achieving better segmentation accuracy. We tested our approach on NPTEL lecture videos and holistic evaluation shows that it out performs the other methods described in the literature.

研究动机与目标

• 解决长时MOOC讲座视频中元数据缺乏主题边界的问题。
• 提升传统基于局部上下文的方法难以捕捉的长时主题（>15分钟）的分割准确率。
• 利用知识图谱中的领域特定知识，建模讲座转录文本中概念之间的全局语义关系。
• 减少用户在长时讲座视频中浏览和搜索特定主题所需的努力。
• 开发一种混合框架，结合局部语言特征与全局结构知识，实现鲁棒的主题边界检测。

提出的方法

• 使用双向LSTM结合注意力机制，对转录讲座文本中的局部语义上下文进行建模。
• 语言模型捕捉局部句法与语义模式，以检测潜在的主题边界。
• 构建领域特定的知识图谱，编码教育概念之间的关系及其层级依赖。
• 在分割过程中利用知识图谱，增强对全局上下文的理解，尤其针对长时主题。
• 通过结合语言模型与知识图谱的预测结果，并基于主题时长进行阈值调整，优化分割决策。
• 系统使用BERT捕捉转录文本的整体语义，提升主题检测的表征学习能力。

实验结果

研究问题

• RQ1 如何通过引入全局领域知识来增强讲座转录文本中的局部语义建模，以提升主题边界检测性能？
• RQ2 在主题分割中，句子级分类的最优上下文大小是多少？
• RQ3 主题时长如何影响基于结构（局部上下文）与基于语义（知识增强）的分割方法的性能？
• RQ4 引入领域知识图谱在多大程度上提升了长时主题的分割准确率？
• RQ5 结合语言模型与知识图谱的混合方法是否优于纯相似度匹配或仅依赖语言模型的方法？

主要发现

• 所提方法在整体评估中取得了0.83的OTR（F1-score），优于文献中现有方法。
• 对于时长超过15分钟的主题，采用知识图谱的语义分割方法保持了稳定性能，而基于结构的方法准确率显著下降。
• 基于OTR分数最大化，确定句子级分类的最优上下文大小为K=10个句子，每句20个词。
• 在225个软件工程讲座主题中，164个短于15分钟，91个长于15分钟，基于知识图谱的方法在长主题上表现更优。
• 该方法在所有时长类别中均表现出稳定性能，语义分析方法在不同主题长度下均保持高准确率。
• 领域知识的整合显著提升了大主题的边界检测性能，有效弥补了仅依赖局部上下文模型在捕捉全局语义方面的局限。