[论文解读] Overview of MediaEval 2020 Predicting Media Memorability Task: What Makes a Video Memorable?

Alba García Seco de Herrera, Rukiye Savran Kızıltepe+6 more|arXiv (Cornell University)|Dec 31, 2020

Visual Attention and Saliency Detection被引用 6

一句话总结

本论文介绍了 MediaEval 2020 预测媒体记忆度任务的第三版，该任务通过 TRECVid 2019 视频转文本数据集的子集，评估机器学习模型在预测短期（分钟级）和长期（24–72 小时）视频记忆度方面的能力。该任务提供了带标注的视频、预提取的视觉特征（例如 VGGFC7、C3D）以及基于亚马逊 Mechanical Turk 上识别测试的真值记忆度分数，从而支持使用斯皮尔曼等级相关系数对模型进行基准测试。

ABSTRACT

This paper describes the MediaEval 2020 Predicting Media Memorability task. After first being proposed at MediaEval 2018, the Predicting Media Memorability task is in its 3rd edition this year, as the prediction of short-term and long-term video memorability (VM) remains a challenging task. In 2020, the format remained the same as in previous editions. This year the videos are a subset of the TRECVid 2019 Video-to-Text dataset, containing more action rich video content as compared with the 2019 task. In this paper a description of some aspects of this task is provided, including its main characteristics, a description of the collection, the ground truth dataset, evaluation metrics and the requirements for participants’ run submissions.

研究动机与目标

• 建立一个用于预测视频在短期和长期记忆保留中记忆度的标准化基准。
• 通过提供公开可用的、包含长期记忆度标注的数据集，推动计算视频记忆度研究的发展，此类标注在以往工作中较为罕见。
• 支持开发能够基于视觉和时间特征预测视频被记住可能性的机器学习模型。
• 通过一致的评估指标和共享数据，实现不同方法的对比评估。
• 通过建模人类记忆效应对视频内容的影响，促进广告、教育和内容推荐等多媒体应用的研究。

提出的方法

• 参赛者获得了来自 TRECVid 2019 视频转文本数据集的 1,500 个短视频数据集（训练集 590 个，开发集 410 个，测试集 500 个），这些视频因高动作内容而被选中。
• 通过在亚马逊 Mechanical Turk 上使用视频记忆度游戏协议对每个视频进行了短期和长期记忆度的标注，用户通过按空格键来识别之前看过的视频。
• 真值记忆度分数计算为至少 16 名标注者在短期任务中的正确识别率，长期任务则基于更少但依然显著的标注数量。
• 预提取的视觉特征包括来自三个关键帧（开始、中间、结束）的图像级特征（AlexNetFC7、HOG、HSVHist、RGBHist、LBP、VGGFC7）和视频级 C3D 特征。
• 评估使用了预测记忆度分数与真值记忆度分数之间的斯皮尔曼等级相关系数，针对两个子任务分别进行。
• 参赛者可提交最多 10 次运行（每个子任务 5 次），并设有约束以防止一个子任务的预测结果直接用于另一个子任务，但允许通过交叉标注进行额外运行。

实验结果

研究问题

• RQ1 哪些视觉和时间特征最能预测短期视频记忆度？
• RQ2 从关键帧提取的特征和视频级表征在长期记忆度预测中分别起到何种作用？
• RQ3 在短期记忆度上训练的模型在多大程度上能泛化到长期记忆度预测？
• RQ4 包含长期记忆度标注在多大程度上提升了视频记忆度模型的预测性能？
• RQ5 用户交互模式（例如响应时间、识别准确率）在验证记忆度分数方面起到什么作用？

主要发现

• MediaEval 2020 任务提供了首个公开可用的、包含长期视频记忆度标注的数据集，突破了以往研究仅关注短期记忆度的局限。
• 该数据集包含来自 TRECVid 2019 视频转文本集合的 1,500 个视频，其中训练集 590 个，开发集 410 个，测试集 500 个。
• 真值记忆度分数通过在亚马逊 Mechanical Turk 上进行的识别测试收集，短期分数基于至少 16 名标注者，长期分数则基于更少但依然具有统计意义的标注。
• 预提取的视觉特征包括 6 种图像级特征（例如 VGGFC7、HOG）和 1 种视频级特征（C3D），支持多样化的模型开发。
• 该任务框架支持使用斯皮尔曼等级相关系数进行对比评估，这是记忆度预测任务的标准指标。
• 任务设计防止了短期与长期预测运行之间的直接信息泄露，确保了独立模型性能的公平评估。