[论文解读] Response to LiveBot: Generating Live Video Comments Based on Visual and Textual Contexts

Hao Wu, Gareth J. F. Jones+1 more|arXiv (Cornell University)|Jun 4, 2020

Topic Modeling参考文献 7被引用 7

一句话总结

本文研究了LiveBot系统在自动实时视频评论（ALVC）任务中报告结果与复现结果之间的差异，识别出训练集与测试集存在重叠导致的数据泄露是关键原因。本文提出了一种使用清洗后数据集的OpenNMT框架修正基线实现，提升了可复现性，并为未来ALVC研究提供了新的基准参考。

ABSTRACT

Live video commenting systems are an emerging feature of online video sites. Recently the Chinese video sharing platform Bilibili, has popularised a novel captioning system where user comments are displayed as streams of moving subtitles overlaid on the video playback screen and broadcast to all viewers in real-time. LiveBot was recently introduced as a novel Automatic Live Video Commenting (ALVC) application. This enables the automatic generation of live video comments from both the existing video stream and existing viewers comments. In seeking to reproduce the baseline results reported in the original Livebot paper, we found differences between the reproduced results using the project codebase and the numbers reported in the paper. Further examination of this situation suggests that this may be caused by a number of small issues in the project code, including a non-obvious overlap between the training and test sets. In this paper, we study these discrepancies in detail and propose an alternative baseline implementation as a reference for other researchers in this field.

研究动机与目标

• 调查并解决LiveBot系统在自动实时视频评论（ALVC）任务中报告结果与复现结果之间的差异。
• 识别并修正公开发布的LiveBot数据集中存在的数据泄露问题，特别是训练集与测试集之间存在的重叠评论和重复视频。
• 使用OpenNMT框架和清洗后的数据集，提供一种新的、可复现的基线实现，以确保未来ALVC模型评估的公平性。
• 通过解决实现和数据质量问题，提升多模态视频评论生成任务基准测试的可靠性与透明度。

提出的方法

• 使用OpenNMT神经机器翻译框架重新实现LiveBot中的统一Transformer模型，以提升可复现性。
• 从原始数据重建数据集，以消除训练集与测试集之间重复的视频和重叠的评论。
• 应用标准预处理流程：移除冗余视频（38个重复项），重新划分为2,122个训练集、100个验证集和100个测试集视频。
• 使用词汇表大小为30,000，词嵌入和隐藏层维度为512，dropout率为0.2，Adam优化器参数β₁=0.9和β₂=0.998。
• 在清洗后的数据集上重新训练模型，并使用相同的基于检索的评估指标（Recall@1, Recall@5, Recall@10, Mean Reciprocal Rank）进行评估。
• 对比多种配置下的结果，包括原始问题配置，以隔离数据泄露对性能的影响。

实验结果

研究问题

• RQ1 为何复现的LiveBot ALVC模型性能显著低于原始论文中报告的结果？
• RQ2 数据泄露（特别是重叠评论和重复视频）在多大程度上导致了LiveBot基线模型性能指标的虚高？
• RQ3 经过修正的、清洗后的数据集与完全可复现的实现，能否作为未来ALVC研究的可靠新基线？
• RQ4 当系统性地从训练集和测试集中移除数据泄露后，性能指标如何变化？
• RQ5 移除重复视频和重叠评论对模型泛化能力与评估公平性有何影响？

主要发现

• 原始LiveBot结果可能因数据泄露而被高估，包括训练集与测试集之间存在5,436条重叠评论，以及38个具有不同ID的重复视频。
• 在移除重复视频和重叠评论后，模型性能略有下降，表明原始结果受益于数据泄露。
• 使用OpenNMT在清洗后数据集上重新实现的模型，其性能与
• Issue #1-4
• 配置非常接近，验证了新基线的正确性。
• 使用清洗后数据集的新基线实现被认为是有效且可复现的，为未来ALVC研究提供了更公平的参考点。
• 原始报告结果与复现结果之间的性能差距主要归因于数据泄露，而非模型架构或超参数差异。
• 本研究结论认为，由于未披露的数据泄露，原始结果无法完全复现，而新实现提供了透明、可审计的基准。