[论文解读] Learning to Answer Questions in Dynamic Audio-Visual Scenarios

Guangyao Li, Yake Wei+4 more|arXiv (Cornell University)|Mar 26, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出了MUSIC-AVQA，一个包含45,867个来自音乐表演视频的问答对的大规模数据集，并提出了一种时空对齐的音视频神经网络，通过显式建模音视频空间关联和问题感知的时间定位，提升了多模态理解与推理能力，在计数和位置类等复杂推理任务上取得了最先进性能。

ABSTRACT

In this paper, we focus on the Audio-Visual Question Answering (AVQA) task, which aims to answer questions regarding different visual objects, sounds, and their associations in videos. The problem requires comprehensive multimodal understanding and spatio-temporal reasoning over audio-visual scenes. To benchmark this task and facilitate our study, we introduce a large-scale MUSIC-AVQA dataset, which contains more than 45K question-answer pairs covering 33 different question templates spanning over different modalities and question types. We develop several baselines and introduce a spatio-temporal grounded audio-visual network for the AVQA problem. Our results demonstrate that AVQA benefits from multisensory perception and our model outperforms recent A-, V-, and AVQA approaches. We believe that our built dataset has the potential to serve as testbed for evaluating and promoting progress in audio-visual scene understanding and spatio-temporal reasoning. Code and dataset: http://gewu-lab.github.io/MUSIC-AVQA/

研究动机与目标

• 为解决在需要联合时空推理的动态多模态场景中进行音视频问答（AVQA）的挑战。
• 构建一个大规模、多样化的数据集，以捕捉现实世界音乐表演中复杂的音视频交互。
• 开发一种有效整合空间定位（音视频源对齐）和时间定位（关键时间戳注意力）的模型，以提升推理能力。
• 评估多感官感知对AVQA性能的影响，并为未来研究建立基准。

提出的方法

• 提出一种基于注意力机制的声音源定位的空间定位模块，用于建模跨模态的音视频关联。
• 引入一种时间定位模块，利用问题嵌入作为查询，关注视频中相关的时间戳。
• 将空间感知和时间感知的音视频特征融合为联合表征，实现端到端的问答。
• 采用双分支编码器分别处理音频和视觉模态特征，随后通过交叉注意力机制对齐模态。
• 使用预定义的答案词汇表进行开放式答案预测，通过交叉熵损失进行训练。
• 利用YouTube音乐表演视频中人工标注的QA对进行训练和评估的监督。

实验结果

研究问题

• RQ1 模型能否在音视频场景中有效执行时空推理，以回答涉及物体位置、声音时间点和计数的复杂问题？
• RQ2 与单模态方法相比，同时整合音频和视觉模态在AVQA中如何提升性能？
• RQ3 空间定位和时间定位模块在动态音视频场景中的推理能力提升方面，其作用程度如何？
• RQ4 像MUSIC-AVQA这样大规模、多样化的数据集，能否作为评估音视频场景理解能力的稳健基准？

主要发现

• 所提模型在计数和位置类等推理密集型问题类型上，优于近期的A-、V-和AVQA方法。
• 所有AVQA方法均优于单模态方法（AQA和VQA），证实了在复杂场景中多感官感知的优势。
• 空间定位模块有效捕捉了音视频源之间的关联，提升了需要物体与声音关联的问题的性能。
• 时间定位模块成功突出与问题相关的关键时间戳，增强了时间推理能力。
• MUSIC-AVQA数据集显著提升了性能，展现出作为未来音视频推理研究基准的强大潜力。
• 失败案例表明，单模态嵌入中无关的视觉或音频元素可能引入噪声，提示未来可改进自适应特征选择。