[论文解读] A Neural Multi-sequence Alignment TeCHnique (NeuMATCH)

Pelin Doğan, Boyang Li+2 more|arXiv (Cornell University)|Feb 19, 2018

Time Series Analysis and Forecasting参考文献 57被引用 3

一句话总结

NeuMATCH 提出了一种用于异质多序列对齐的端到端可微神经架构，通过在四个LSTM堆栈（文本、视频、匹配内容和决策历史）之间移动数据来建模对齐决策。它在合成数据和真实世界视频-文本对齐任务上均优于最先进基线模型，在一对一多对多设置下，HM-1数据集上达到65.0%的IoU，HM-2数据集上达到44.1%，通过超越马尔可夫假设的丰富上下文建模展现出卓越性能。

ABSTRACT

The alignment of heterogeneous sequential data (video to text) is an important and challenging problem. Standard techniques for this task, including Dynamic Time Warping (DTW) and Conditional Random Fields (CRFs), suffer from inherent drawbacks. Mainly, the Markov assumption implies that, given the immediate past, future alignment decisions are independent of further history. The separation between similarity computation and alignment decision also prevents end-to-end training. In this paper, we propose an end-to-end neural architecture where alignment actions are implemented as moving data between stacks of Long Short-term Memory (LSTM) blocks. This flexible architecture supports a large variety of alignment tasks, including one-to-one, one-to-many, skipping unmatched elements, and (with extensions) non-monotonic alignment. Extensive experiments on semi-synthetic and real datasets show that our algorithm outperforms state-of-the-art baselines.

研究动机与目标

• 解决传统两阶段对齐方法（如DTW、CRFs）的局限性，这些方法将相似性计算与对齐决策分离，且依赖于受限的马尔可夫假设。
• 通过将相似性学习与对齐决策整合到单一可微神经架构中，实现端到端训练。
• 通过灵活的动作机制支持复杂对齐模式，如一对多、跳过未匹配元素以及非单调匹配。
• 通过在LSTM堆栈中保持历史和未来上下文，建模多模态序列中的长距离上下文依赖关系，尤其在叙事性内容中表现突出。
• 提供可扩展的框架，通过参数化动作（如Match-Retain和Match-With-History）实现对多个序列（如视频、音频、文本）的对齐。

提出的方法

• 使用四个独立的LSTM链表示对齐工作区：一个用于输入文本序列，一个用于视频序列，一个用于匹配内容，一个用于历史对齐决策。
• 将对齐动作定义为在这些LSTM堆栈之间移动元素的操作（例如，从输入堆栈弹出，向匹配堆栈压入），动作决策由基于组合LSTM隐藏状态的分类头生成。
• 使用参数化的Match-Retain动作支持多序列对齐（例如，通过3位二进制向量匹配三个序列的顶部元素）。
• 引入Match-With-History动作，通过基于指针网络风格机制和可学习评分函数，使模型能够关注匹配堆栈中的任意位置，从而实现非单调对齐。
• 使用对齐动作的交叉熵损失端到端训练整个模型，实现特征表示与对齐决策的联合优化。
• 利用基于注意力的评分机制实现非单调匹配：P(q=i|Ψt) = exp(f(ψt, ri)) / Σⱼ exp(f(ψt, rj))，其中 f(ψt, ri) = vᵀ tanh(Wq [ψt; ri])

实验结果

研究问题

• RQ1 统一的端到端神经架构是否能在异质序列对齐中超越传统两阶段方法（如DTW和CRFs）？
• RQ2 在叙事性视频-文本对齐中，建模长距离上下文（超越最近过去）在多大程度上能提升对齐精度？
• RQ3 所提出的基于动作的LSTM堆栈机制在支持多样化对齐模式（包括一对多和非单调匹配）方面有多有效？
• RQ4 该框架能否在极少架构修改下扩展至对齐多于两个序列（如视频、音频、文本）？
• RQ5 历史对齐决策和未来输入上下文对最终对齐性能的贡献是什么？

主要发现

• NeuMATCH在HM-1数据集上达到65.0%的IoU，在HM-2数据集上达到44.1%，在一对多设置下显著优于所有消融模型和基线模型。
• 消融研究证实，若移除动作堆栈或匹配堆栈，性能将大幅下降（例如，无匹配堆栈时HM-1的IoU为57.6%，而完整模型为65.0%），证明了上下文建模的重要性。
• 无动作或历史组件的模型（No Act&Hist）性能极差（HM-1上IoU仅为11.8%），表明决策历史和未来上下文对准确对齐至关重要。
• 完整NeuMATCH模型在HM-1上达到37.7%的IoU，在HM-2上达到20.0%的IoU，比次佳基线模型（无历史模型）高出超过10个百分点。
• 定性结果表明，即使距离矩阵缺乏清晰结构，NeuMATCH仍能成功恢复复杂的真实对齐路径，而MD或时间扭曲基线方法则无法做到。
• 参数化的Match-With-History动作通过允许匹配匹配堆栈中的任意元素，并对可变长度序列使用基于注意力的评分，实现了非单调对齐。