[论文解读] Fine-grained Audio-Visual Joint Representations for Multimodal Large Language Models

Guangzhi Sun, Wenyi Yu+7 more|arXiv (Cornell University)|Oct 9, 2023

Music and Audio Processing被引用 5

一句话总结

该论文提出 FAVOR，一种用于多模态大语言模型的细粒度音视频联合表征框架，通过因果 Q-Former 实现帧级时间同步与因果注意力机制，以增强语音-视频联合推理能力。在需要时间因果推理的视频问答任务中，其准确率提升了 25%，展现出在音视频理解与涌现推理能力方面的最先进性能。

ABSTRACT

Audio-visual large language models (LLM) have drawn significant attention, yet the fine-grained combination of both input streams is rather under-explored, which is challenging but necessary for LLMs to understand general video inputs. To this end, a fine-grained audio-visual joint representation (FAVOR) learning framework for multimodal LLMs is proposed in this paper, which extends a text-based LLM to simultaneously perceive speech and audio events in the audio input stream and images or videos in the visual input stream, at the frame level. To fuse the audio and visual feature streams into joint representations and to align the joint space with the LLM input embedding space, we propose a causal Q-Former structure with a causal attention module to enhance the capture of causal relations of the audio-visual frames across time. An audio-visual evaluation benchmark (AVEB) is also proposed which comprises six representative single-modal tasks with five cross-modal tasks reflecting audio-visual co-reasoning abilities. While achieving competitive single-modal performance on audio, speech and image tasks in AVEB, FAVOR achieved over 20% accuracy improvements on the video question-answering task when fine-grained information or temporal causal reasoning is required. FAVOR, in addition, demonstrated remarkable video comprehension and reasoning abilities on tasks that are unprecedented by other multimodal LLMs. An interactive demo of FAVOR is available at https://github.com/BriansIDP/AudioVisualLLM.git, and the training code and model checkpoints will be released soon.

研究动机与目标

• 为解决多模态大语言模型中细粒度音视频融合的不足，特别是语音与视频在帧级别上的交互问题。
• 通过建模跨音视频帧的因果依赖关系，提升视频理解中的时间推理能力。
• 开发一个统一框架，联合表征语音、音频事件、图像与视频，以支持端到端的多模态大语言模型推理。
• 建立一个全面的基准，用于评估大语言模型中的音视频多模态推理能力。

提出的方法

• 提出一种带有因果注意力机制的因果 Q-Former，以在保留时间顺序的前提下建模音视频帧序列中的序列依赖关系。
• 引入一种帧级同步模块，实现音视频输入在时间上的对齐，从而支持细粒度的跨模态交互。
• 将长输入序列划分为固定长度的滑动窗口，以处理可变长度输入并降低计算负载。
• 采用多样性训练损失，以促使输出查询从音视频输入中捕捉独特且非冗余的信息。
• 通过可学习的投影头将联合音视频表征对齐至大语言模型的文本嵌入空间。
• 使用一种新颖的音视频评估基准（AVEB），包含 11 项任务，其中 5 项为跨模态推理任务，用于评估模型性能。

Figure 1: The fine-grained audio-visual joint representation (FAVOR) learning framework for multimodal LLMs. The temporal synchronisation module does not contain trainable parameters, and the audio and visual feature encoders are not updated during training.

实验结果

研究问题

• RQ1 通过建模细粒度的音视频时间依赖关系，多模态大语言模型是否能在视频问答任务中实现更优性能？
• RQ2 在视觉和音频事件之外引入语音内容，是否能提升大语言模型中的多模态推理能力？
• RQ3 与标准自注意力机制相比，因果注意力机制在建模音视频序列中序列关系方面有多大的增强效果？
• RQ4 多样性正则化对音视频联合表征的表征能力与泛化性能有何影响？
• RQ5 所提出的框架是否能展现出超越标准单模态任务的涌现推理能力，例如理解视频片段中的幽默或意图？

主要发现

• 在需要时间因果推理的视频问答任务中，FAVOR 实现了 25% 的绝对准确率提升，优于 InstructBLIP 基线模型。
• 在音视频声源检测（AVSSD）任务中，FAVOR 相较于单模态模型实现了超过 10% 的绝对准确率提升。
• 该模型在单模态任务中也表现出色，包括自动语音识别（ASR），在最优设置下词错误率（WER）降低了最多 15%。
• 多样性损失被证明至关重要：值过高会导致幻觉现象并降低性能，尤其是在 ASR 任务中。
• FAVOR 展现出涌现推理能力，例如通过整合对话内容、视觉上下文与背景音频，理解场景为何具有幽默或浪漫性质。
• 最优帧率为 2.0 FPS，可在保证模型性能的同时实现推理效率的平衡，最小化 token 数量，同时最大化音视频序列之间的对齐程度。

Figure 2: The causal attention module in the causal Q-Former with a block-wise triangular causal mask (grey cells are masked). The number of features per frame here is 2 as an example.