[论文解读] LiveBot: Generating Live Video Comments Based on Visual and Textual Contexts

Shuming Ma, Lei Cui+3 more|arXiv (Cornell University)|Sep 13, 2018

Multimodal Machine Learning Applications参考文献 33被引用 7

一句话总结

本文提出了 LiveBot，这是首个用于在线视频实时评论生成的任务与系统，通过利用视觉和文本上下文生成实时、上下文相关的评论。该工作提出了两种神经模型——Fusional RNN 与 Unified Transformer，联合编码视频帧与周边评论，在自动评估（MRR）与人工评估中均优于基线模型，其中 Unified Transformer 实现了接近人类水平的流畅度与相关性评分。

ABSTRACT

We introduce the task of automatic live commenting. Live commenting, which is also called `video barrage', is an emerging feature on online video sites that allows real-time comments from viewers to fly across the screen like bullets or roll at the right side of the screen. The live comments are a mixture of opinions for the video and the chit chats with other comments. Automatic live commenting requires AI agents to comprehend the videos and interact with human viewers who also make the comments, so it is a good testbed of an AI agent's ability of dealing with both dynamic vision and language. In this work, we construct a large-scale live comment dataset with 2,361 videos and 895,929 live comments. Then, we introduce two neural models to generate live comments based on the visual and textual contexts, which achieve better performance than previous neural baselines such as the sequence-to-sequence model. Finally, we provide a retrieval-based evaluation protocol for automatic live commenting where the model is asked to sort a set of candidate comments based on the log-likelihood score, and evaluated on metrics such as mean-reciprocal-rank. Putting it all together, we demonstrate the first `LiveBot'.

研究动机与目标

• 提出并定义在线视频自动实时评论这一新型任务。
• 构建一个大规模数据集，包含来自 Bilibili 的 2,361 个视频与 895,929 条实时评论，用于研究。
• 开发能够联合编码视觉与文本上下文的神经模型，以生成上下文相关的实时评论。
• 建立基于检索的评估协议，使用均倒数排名（MRR）等指标进行稳健的模型比较。
• 通过自动指标与人工标注（在流畅度、相关性与正确性三个维度）对模型性能进行评估。

提出的方法

• 该任务被形式化为：基于视频帧、其时间戳、周边评论以及附近视频帧生成一条评论。
• 从 Bilibili 收集了一个大规模的实时评论数据集，包含 2,361 个视频与 895,929 条评论，附带时间与上下文标注。
• 提出两种神经模型：Fusional RNN 与 Unified Transformer，联合编码视觉特征（来自视频帧）与文本上下文（来自周边评论）。
• 模型使用注意力机制关注相关视觉区域与评论历史，实现上下文感知的评论生成。
• 引入基于检索的评估协议，模型根据对候选评论的对数似然进行排序，性能通过 MRR 与其他检索指标进行衡量。
• 人工评估在三个维度进行：流畅度、相关性与正确性，评分取三位标注者平均值。

实验结果

研究问题

• RQ1 神经模型能否有效生成与视频内容及周边评论均具有上下文相关性的实时视频评论？
• RQ2 与单模态输入相比，视觉与文本上下文的联合编码在实时评论生成中带来了多大提升？
• RQ3 周边评论在多大程度上提升了生成的实时评论的质量与相关性？
• RQ4 与 BLEU 或 ROUGE 等自动指标相比，所提出的基于检索的评估协议在评估评论质量方面表现如何？
• RQ5 Unified Transformer 模型能否在实时评论生成中实现接近人类水平的流畅度与相关性？

主要发现

• 所提出的 Fusional RNN 与 Unified Transformer 模型在自动 MRR 评估与人工评估中均显著优于强基线模型 S2S-IC。
• Unified Transformer 在 5 分制评分中，平均相关性得分为 4.27，流畅度为 4.43，正确性为 4.31，接近人工生成评论的质量（相关性：4.12，流畅度：4.50，正确性：4.40）。
• 同时使用视觉与文本上下文训练的模型优于仅使用视频或仅使用评论的模型，证明了多模态融合的重要性。
• 仅使用周边评论作为输入的模型优于仅使用视频输入的模型，表明评论历史为下一跳评论预测提供了更直接的线索。
• 人工评估显示标注者间一致性较高，平均斯皮尔曼等级相关系数为 0.63，证实了标注过程的可靠性。
• 基于检索的评估协议能有效区分高质量与低质量评论，Unified Transformer 在所有测试模型中取得了最高的 MRR。