[论文解读] Content-based Video Indexing and Retrieval Using Corr-LDA

Rahul Radhakrishnan Iyer, Sanjeel Parekh+4 more|arXiv (Cornell University)|Feb 27, 2016

Video Analysis and Summarization参考文献 31被引用 20

一句话总结

本文提出Corr-LDA，一种基于概率的视频内容索引与检索框架，利用音频词袋特征自动为视频添加语义文本描述。通过建模音频内容与文本之间的语义对应关系，该方法在检索准确率上优于SVM基线方法，随着主题数量的增加，困惑度降低而F值上升，表明仅使用音频输入即可有效学习视频-文本关系。

ABSTRACT

Existing video indexing and retrieval methods on popular web-based multimedia sharing websites are based on user-provided sparse tagging. This paper proposes a very specific way of searching for video clips, based on the content of the video. We present our work on Content-based Video Indexing and Retrieval using the Correspondence-Latent Dirichlet Allocation (corr-LDA) probabilistic framework. This is a model that provides for auto-annotation of videos in a database with textual descriptors, and brings the added benefit of utilizing the semantic relations between the content of the video and text. We use the concept-level matching provided by corr-LDA to build correspondences between text and multimedia, with the objective of retrieving content with increased accuracy. In our experiments, we employ only the audio components of the individual recordings and compare our results with an SVM-based approach.

研究动机与目标

• 为解决视频检索中用户提供的标签稀疏性问题，通过利用视频的内在特征实现基于内容的索引。
• 开发一种概率框架，学习视频内容与文本描述之间的语义对应关系，以提高检索准确率。
• 使用结构化的概率模型评估仅使用音频特征（音频词袋）在视频标注与检索中的有效性。
• 证明Corr-LDA 可通过利用音频内容实现与人工标注量极少的竞争力性能。

提出的方法

• Corr-LDA 模型通过学习条件概率 P(d_m|V_i) 进行训练，其中 d_m 为字幕中的一个词，V_i 为一个视频，从而实现对视频的自动文本标注。
• 该框架使用音频词袋（BoW）表示作为视频输入，将音频特征视为多模态LDA框架中的感官词。
• 使用困惑度作为量化标注质量的指标，值越低表示性能越好；其计算基于给定视频下观察到的字幕的似然性。
• 通过词汇表中所有词的平均每词精确率、召回率和F值来评估模型的标注性能，对预测中未出现的词使用蒙特卡洛采样。
• 模型在不同主题数量（5、50、100）下进行训练，并在包含9654个唯一词的测试集上评估性能。
• 该方法支持对训练过程中未见过的查询实现零样本推理，前提是这些查询属于预先构建的词典词汇范围。

实验结果

研究问题

• RQ1 像Corr-LDA这样的概率模型能否有效学习音频内容与文本描述之间的语义对应关系以实现视频标注？
• RQ2 Corr-LDA 的性能如何随模型主题数量的变化而变化，特别是在困惑度和F值方面？
• RQ3 仅使用音频特征是否能实现与使用视觉或多模态特征的方法相媲美的视频索引与检索性能？
• RQ4 该模型在未见查询上的泛化能力如何，特别是当查询词超出训练词汇表时？

主要发现

• 困惑度从5个主题时的134.4591降至100个主题时的127.0357，表明主题数量增加后标注质量得到提升。
• F值从5个主题时的0.03027提升至100个主题时的0.05126，表明标注性能随主题数量增加而提高。
• 平均每词精确率与召回率也随主题数量增加而提升，Corr-LDA-100 达到0.05537的精确率与0.04844的召回率。
• 该模型仅使用音频特征即实现了具有竞争力的结果，表明音频本身足以支持有效的基于内容的视频检索。
• 对罕见或未出现的词使用蒙特卡洛采样，使得在低频情况下也能稳定评估精确率与召回率指标。