[论文解读] Knowing Where to Focus: Event-aware Transformer for Video Grounding
该论文提出EaTR，一种新型事件感知Transformer模型，用于视频定位。通过利用槽注意力（slot attention）和门控融合机制进行事件推理，EaTR以动态方式生成视频特定的时刻查询，从而提升时间定位性能。通过学习内容感知与位置感知的事件单元作为查询，EaTR在多个基准测试中实现了最先进性能，训练收敛更快，准确率更高。
Recent DETR-based video grounding models have made the model directly predict moment timestamps without any hand-crafted components, such as a pre-defined proposal or non-maximum suppression, by learning moment queries. However, their input-agnostic moment queries inevitably overlook an intrinsic temporal structure of a video, providing limited positional information. In this paper, we formulate an event-aware dynamic moment query to enable the model to take the input-specific content and positional information of the video into account. To this end, we present two levels of reasoning: 1) Event reasoning that captures distinctive event units constituting a given video using a slot attention mechanism; and 2) moment reasoning that fuses the moment queries with a given sentence through a gated fusion transformer layer and learns interactions between the moment queries and video-sentence representations to predict moment timestamps. Extensive experiments demonstrate the effectiveness and efficiency of the event-aware dynamic moment queries, outperforming state-of-the-art approaches on several video grounding benchmarks.
研究动机与目标
- 解决基于DETR的视频定位模型中输入无关的时刻查询所存在的局限性，此类查询缺乏对视频特定时间结构的感知。
- 通过学习作为内容与位置感知动态时刻查询的视频特定事件单元，提升时间推理能力。
- 通过过滤无关的时刻查询并突出句子相关查询，增强句子与视频表示之间的交互。
- 通过提供可靠且输入特定的指代搜索区域，实现更快的训练收敛与更高的准确率。
- 提出一个统一框架，整合事件级与时刻级推理，实现更精确的视频定位。
提出的方法
- 使用槽注意力机制从视频特征中识别出独特的事件单元，生成内容与位置查询作为初始动态时刻查询。
- 引入门控融合Transformer（GF）层，基于相似性自适应地将时刻查询与句子表示融合，增强信息量丰富的查询并抑制无关查询。
- 从识别出的事件单元构建动态时刻查询，在推理阶段作为输入特定的指代搜索区域。
- 在解码器中使用带有交叉注意力机制的Transformer，使时刻查询能与视频-句子表示进行交互，实现精确的时间戳预测。
- 采用多任务损失函数进行模型训练，包括一项新颖的事件定位损失（$\mathcal{L}_{\text{event}}$）与标准检测损失，通过超参数$\lambda_{\text{event}}$进行平衡。
- 使用可学习的查询嵌入表示时刻查询，初始值由事件单元生成，并在训练过程中端到端更新。
实验结果
研究问题
- RQ1通过整合视频特定的时间结构，事件感知的动态时刻查询是否能提升视频定位性能？
- RQ2门控融合机制相比固定或无权重的查询交互，如何提升时刻查询与输入句子的相关性？
- RQ3通过槽注意力学习事件单元是否能实现比输入无关的时刻查询更快的训练收敛速度与更好的泛化能力？
- RQ4在训练目标中，事件定位损失与检测损失之间的最优平衡是什么？
- RQ5与固定且输入无关的查询相比，动态时刻查询在注意力分布与预测可靠性方面表现如何？
主要发现
- EaTR在多个视频定位基准测试中达到最先进性能，包括ActivityNet-1.3、TACRED与MSVD，优于先前的SOTA方法如Moment-DETR。
- 该模型收敛速度显著快于Moment-DETR，表明动态且事件感知的查询通过提供更优的初始指代搜索区域，提升了训练效率。
- 消融实验表明，门控融合层在性能上优于加法、拼接与多头交叉注意力融合，证实其在过滤无关查询方面的有效性。
- 事件槽数量$N$的最优值为10，因过大或过小的值均会导致性能下降，分别由于难以捕捉长事件或出现过拟合。
- 平衡超参数$\lambda_{\text{event}}$具有显著影响：当$\lambda_{\text{event}} = 3$时性能达到峰值，低于或高于此值均导致性能下降。
- 注意力可视化结果表明，EaTR的动态查询能自适应地响应视频内容，提供均衡且信息丰富的注意力模式；而输入无关的查询则过度依赖视频-句子交互，导致错误。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。