[论文解读] MAN: Moment Alignment Network for Natural Language Moment Retrieval via Iterative Graph Adjustment

Da Zhang, Xiyang Dai+3 more|arXiv (Cornell University)|Nov 30, 2018

Multimodal Machine Learning Applications参考文献 60被引用 34

一句话总结

本文提出 MAN，一种用于自然语言瞬间检索的单阶段端到端框架，通过一种新颖的迭代图调节网络，统一了瞬间编码与时间推理。通过将时刻间的时间关系建模为可学习图，并将语言查询对齐为动态滤波器，MAN 在 Charades-STA 和 DiDeMo 数据集上实现了最先进性能，显著优于先前方法。

ABSTRACT

This research strives for natural language moment retrieval in long, untrimmed video streams. The problem is not trivial especially when a video contains multiple moments of interests and the language describes complex temporal dependencies, which often happens in real scenarios. We identify two crucial challenges: semantic misalignment and structural misalignment. However, existing approaches treat different moments separately and do not explicitly model complex moment-wise temporal relations. In this paper, we present Moment Alignment Network (MAN), a novel framework that unifies the candidate moment encoding and temporal structural reasoning in a single-shot feed-forward network. MAN naturally assigns candidate moment representations aligned with language semantics over different temporal locations and scales. Most importantly, we propose to explicitly model moment-wise temporal relations as a structured graph and devise an iterative graph adjustment network to jointly learn the best structure in an end-to-end manner. We evaluate the proposed approach on two challenging public benchmarks DiDeMo and Charades-STA, where our MAN significantly outperforms the state-of-the-art by a large margin.

研究动机与目标

• 解决在长时、未剪辑视频中因存在多个相似瞬间而导致的语义错位挑战，此时语言引用需要序数或上下文理解能力。
• 克服结构错位问题，即语言描述中的时间顺序与实际视频序列不一致，需进行复杂的时间推理。
• 在单阶段、全卷积架构中统一候选瞬间编码与结构推理，以提升效率并支持端到端训练。
• 开发一种基于可学习图的机制，显式建模并优化推理过程中时刻间的时间依赖关系。
• 通过联合优化语义对齐与结构推理，在基准数据集上实现最先进性能。

提出的方法

• 使用分层全卷积视频编码器，生成整个视频流中多尺度的候选瞬间表征。
• 通过单层 LSTM 将输入语言查询转换为动态卷积滤波器，实现通过时空卷积的跨模态特征对齐。
• 构建一个时刻图，其中节点表示候选瞬间，边编码潜在的时间关系。
• 提出一种基于 GCN 的迭代图调节网络（IGAN），在多轮迭代中联合优化节点表征与图结构。
• 端到端训练整个模型，联合学习语义对齐与结构推理，损失函数基于语言查询与瞬间预测之间的匹配分数。
• 通过词级动态滤波器实现特征对齐，以增强语言与视觉特征之间的细粒度跨模态交互。

实验结果

研究问题

• RQ1 统一的单阶段框架能否有效解决自然语言瞬间检索中的语义与结构错位问题？
• RQ2 与独立的瞬间评分相比，将时刻间的时间关系建模为可学习图在多大程度上提升了检索性能？
• RQ3 迭代图优化在多大程度上增强了表征学习与定位精度？
• RQ4 从语言查询中引入的动态滤波器在多大程度上改善了在不同时间尺度下与相关视频片段的对齐？
• RQ5 在包含复杂长视频流的真实世界基准上，该方法与最先进方法相比表现如何？

主要发现

• 在 Charades-STA 基准上，MAN 达到了 27.02% 的 Rank@1 分数，显著优于先前最先进方法。
• 在 DiDeMo 数据集上，MAN 达到了 25.67% 的 Rank@1 分数，展现出在多样化视频分布上的强大泛化能力。
• 消融研究显示，增加 IGAN 单元数量可单调提升性能，3 个单元在准确率与收敛速度之间达到最佳平衡。
• MAN-VGG（使用 VGG-16 的帧级特征）仍优于先前最先进方法，凸显其对弱视觉特征的鲁棒性。
• 该模型成功检索出需要复杂推理的瞬间，例如“孩子第二次触地时”和“男子在挡住吉他手后穿过屏幕”。
• 可视化结果证实，学习到的图结构能有效捕捉相关时刻关系，包括不完整或部分重叠的片段。