[论文解读] Modeling Semantic Composition with Syntactic Hypergraph for Video Question Answering

Zenan Xu, Wanjun Zhong+3 more|arXiv (Cornell University)|May 13, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出SCAN，一种跨模态感知的句法超图卷积网络，通过从依存树构建句法超图并使用最优传输实现稀疏而精确的跨模态对齐，来建模视频问答中的多层次语义组合。该方法在三个VideoQA基准上优于强基线模型，通过显式捕捉组合语义并过滤噪声，实现了性能提升。

ABSTRACT

A key challenge in video question answering is how to realize the cross-modal semantic alignment between textual concepts and corresponding visual objects. Existing methods mostly seek to align the word representations with the video regions. However, word representations are often not able to convey a complete description of textual concepts, which are in general described by the compositions of certain words. To address this issue, we propose to first build a syntactic dependency tree for each question with an off-the-shelf tool and use it to guide the extraction of meaningful word compositions. Based on the extracted compositions, a hypergraph is further built by viewing the words as nodes and the compositions as hyperedges. Hypergraph convolutional networks (HCN) are then employed to learn the initial representations of word compositions. Afterwards, an optimal transport based method is proposed to perform cross-modal semantic alignment for the textual and visual semantic space. To reflect the cross-modal influences, the cross-modal information is incorporated into the initial representations, leading to a model named cross-modality-aware syntactic HCN. Experimental results on three benchmarks show that our method outperforms all strong baselines. Further analyses demonstrate the effectiveness of each component, and show that our model is good at modeling different levels of semantic compositions and filtering out irrelevant information.

研究动机与目标

• 为解决VideoQA中词级对齐的局限性，后者无法捕捉完整文本概念（如'穿绿色衣服的女孩'或'坐在的女孩'）
• 使用句法依存结构建模自然语言问题中的多层次语义组合（例如，词、短语、句子）
• 通过利用超图卷积和最优传输，改进文本概念与视觉对象之间的跨模态对齐
• 通过将跨模态信息融入初始语义组合，增强表示学习
• 证明句法超图建模在过滤无关视觉和文本信号方面的有效性

提出的方法

• 使用现成的NLP工具为每个问题构建句法依存树，以识别有意义的词组合
• 构建句法超图，其中词为节点，句法子树（组合）为超边
• 应用超图卷积网络（HCN）学习这些语义组合的初始表示
• 引入跨模态感知机制，利用跨模态信息更新文本和视觉表示
• 采用最优传输（OT）计算文本组合与视觉特征之间稀疏而精确的跨模态对齐
• 采用分层自底向上的方法构建句法超图，以实现对不同层次语义组合的建模

实验结果

研究问题

• RQ1 在问题中建模多层次语义组合是否能提升视频问答的性能？
• RQ2 使用句法依存树提取有意义的词组合是否能带来与视觉区域更好的对齐？
• RQ3 超图卷积网络能否有效学习VideoQA中组合性文本概念的表示？
• RQ4 基于最优传输的对齐是否能产生比点积注意力更稀疏且更精确的跨模态匹配？
• RQ5 将跨模态信息融入初始表示是否能提升模型的鲁棒性和性能？

主要发现

• SCAN在三个VideoQA基准上达到最先进性能：在MSVD-QA上达到40.3%，在MSRVTT-QA上达到37.1%，优于强基线模型
• 消融研究显示，移除句法超图或跨模态感知模块会显著降低性能，证实了其重要性
• HCN层数的最优值因任务而异（例如，Transition和FrameQA任务中l=2，Action任务中l=3），表明不同任务对组合推理深度有特定需求
• 定性分析表明，SCAN在短语和句子层面能更好地对齐相关视频帧，例如'gets into the net'会聚焦于进球动作
• 基于最优传输的对齐产生的注意力矩阵比点积方法更稀疏，从而实现更聚焦且更精确的跨模态匹配
• 即使与BERT-large相比，SCAN仍取得更优结果，表明显式句法组合建模的价值超越了预训练上下文嵌入