[论文解读] Video2GIF: Automatic Generation of Animated GIFs from Video

Michael Gygli, Yale Song+1 more|arXiv (Cornell University)|May 16, 2016

Advanced Image and Video Retrieval Techniques参考文献 26被引用 38

一句话总结

本文提出 Video2GIF，一种鲁棒的深度排序模型，通过学习对视频片段按其适配为 GIF 的程度进行排序，实现从视频自动生成动画 GIF。利用一种新颖的自适应 Huber 损失函数以及包含 10 万条用户生成 GIF 及其视频源的大规模数据集，该方法在 GIF 适配度排序任务中优于当前最先进方法，并在视频精彩片段检测任务中展现出良好的泛化能力。

ABSTRACT

We introduce the novel problem of automatically generating animated GIFs from video. GIFs are short looping video with no sound, and a perfect combination between image and video that really capture our attention. GIFs tell a story, express emotion, turn events into humorous moments, and are the new wave of photojournalism. We pose the question: Can we automate the entirely manual and elaborate process of GIF creation by leveraging the plethora of user generated GIF content? We propose a Robust Deep RankNet that, given a video, generates a ranked list of its segments according to their suitability as GIF. We train our model to learn what visual content is often selected for GIFs by using over 100K user generated GIFs and their corresponding video sources. We effectively deal with the noisy web data by proposing a novel adaptive Huber loss in the ranking formulation. We show that our approach is robust to outliers and picks up several patterns that are frequently present in popular animated GIFs. On our new large-scale benchmark dataset, we show the advantage of our approach over several state-of-the-art methods.

研究动机与目标

• 自动化当前依赖精确时间戳选择的手动 GIF 制作流程。
• 解决从包含用户生成内容的嘈杂、真实网络数据中学习 GIF 适配度的挑战。
• 构建一个鲁棒的学习框架，以应对 GIF 内容质量与受欢迎程度的差异。
• 创建一个大规模基准数据集，以支持自动化 GIF 生成与视频精彩片段检测的研究。
• 通过跨数据集评估，证明模型在相关任务（如视频精彩片段检测）上的泛化能力。

提出的方法

• 使用三维卷积神经网络（3D-CNN）从视频片段中提取时空特征，用于表示学习。
• 设计一种成对排序模型，通过比较片段来学习哪些片段更适合作为 GIF，基于学习到的表示。
• 在排序框架中引入一种新颖的自适应 Huber 损失函数，以提高对异常值和网络噪声数据的鲁棒性。
• 将受欢迎度指标（如社交媒体互动量）直接整合到损失函数中，以编码内容质量的差异。
• 在超过 50 万对 GIF 与非 GIF 片段上进行训练，这些片段源自 10 万条用户生成的 GIF 及其对应的视频源。
• 利用上下文特征（类别标签、视频标签、位置特征）丰富片段表示，尽管性能表明大部分上下文信息已由片段特征本身捕获。

实验结果

研究问题

• RQ1 深度学习模型能否自动对视频片段进行排序以评估其作为动画 GIF 的适配度，从而减少对手动选择的依赖？
• RQ2 如何使排序模型对网络来源的用户生成 GIF 中固有的噪声和可变性具有鲁棒性？
• RQ3 在多样化的 GIF 内容上训练的单一全局模型，在多大程度上能泛化到视频精彩片段检测任务？
• RQ4 在损失函数中编码受欢迎度指标是否能提升模型识别高质量 GIF 候选的能力？
• RQ5 上下文特征（如视频类别、标签）在提升 GIF 适配度预测方面发挥什么作用？

主要发现

• 所提出的带有自适应 Huber 损失的鲁棒深度 RankNet 在排序性能上优于标准的 $l_1$、$l_2$ 和基于分类的损失函数，尤其得益于其对异常值的鲁棒性以及对小间隔违规的有效处理。
• 在视频精彩片段检测的跨数据集评估中，该模型实现了 46.4% 的平均平均精度（mAP），优于领域特定的 rankSVM 基线（37.9%）和 Yang 等人提出的无监督自编码器方法（41.2%）。
• 尽管使用单一全局模型在多样化、非领域特定的 GIF 数据上进行训练，该方法在性能上仍能与 Sun 等人 [35] 的方法相媲美，后者在精心筛选的精彩片段数据集上训练了多个类别特定模型。
• 该模型在视频精彩片段检测任务上表现出良好的泛化能力，表明 GIF 适配度与精彩片段检测共享潜在的视觉模式。
• 在损失函数中引入基于受欢迎度的加权机制，通过考虑内容质量与社交媒体互动程度的差异，提升了模型性能。
• 上下文特征（类别、标签、位置）的贡献有限，远低于 3D-CNN 片段表示所捕获的信息，表明仅靠深度特征即可实现有效的排序。