[论文解读] Audio-Enhanced Text-to-Video Retrieval using Text-Conditioned Feature Alignment

Sarah Ibrahimi, Xiaohang Sun+4 more|arXiv (Cornell University)|Jul 24, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出 TEFAL，一种文本条件化的特征对齐方法，通过独立的交叉注意力模块分别将音频和视频表征对齐至文本查询，避免了关键音频线索的抑制。该方法在四个富含音频的文本到视频检索基准上达到最先进性能，在 MSR-VTT 上相比 E-CLIP-SE 的 Recall@1 提升超过 4%。

ABSTRACT

Text-to-video retrieval systems have recently made significant progress by utilizing pre-trained models trained on large-scale image-text pairs. However, most of the latest methods primarily focus on the video modality while disregarding the audio signal for this task. Nevertheless, a recent advancement by ECLIPSE has improved long-range text-to-video retrieval by developing an audiovisual video representation. Nonetheless, the objective of the text-to-video retrieval task is to capture the complementary audio and video information that is pertinent to the text query rather than simply achieving better audio and video alignment. To address this issue, we introduce TEFAL, a TExt-conditioned Feature ALignment method that produces both audio and video representations conditioned on the text query. Instead of using only an audiovisual attention block, which could suppress the audio information relevant to the text query, our approach employs two independent cross-modal attention blocks that enable the text to attend to the audio and video representations separately. Our proposed method's efficacy is demonstrated on four benchmark datasets that include audio: MSR-VTT, LSMDC, VATEX, and Charades, and achieves better than state-of-the-art performance consistently across the four datasets. This is attributed to the additional text-query-conditioned audio representation and the complementary information it adds to the text-query-conditioned video representation.

研究动机与目标

• 为解决现有音频增强型文本到视频检索方法在文本对齐前融合音频与视频而导致相关音频线索被抑制的局限性。
• 通过学习显式依赖于文本查询的音频与视频表征，而非联合对齐音频与视频，来提升检索性能。
• 证明文本条件化的音频与视频表征提供互补信息，可超越视觉-音频融合方式提升检索准确率。
• 在包含音频的多样化、大规模视频检索基准上验证 TEFAL 的有效性。

提出的方法

• TEFAL 使用冻结的 CLIP 作为文本和视频特征提取器，使用冻结的 AST 作为音频特征提取器，生成初始嵌入。
• 应用两个独立的交叉注意力模块：一个用于文本到音频，一个用于文本到视频，使文本能够分别关注每种模态。
• 文本查询在每个交叉注意力机制中充当查询，而音频和视频特征则作为键和值。
• 由此生成的文本条件化音频与视频表征相加，形成最终的音频增强视频表征。
• 该方法避免联合视觉-音频注意力，以保留那些在视觉中未出现的音频线索，如口语词或非画面声音。
• 为实现可扩展推理，TEFAL 用于对均值池化视频检索基线的 top-K 结果进行重排序，从而在不显著降低性能的前提下降低计算成本。

实验结果

研究问题

• RQ1 将音频与视频表征独立地基于文本查询进行条件化，是否能带来优于联合视觉-音频对齐的检索性能？
• RQ2 当音频线索未在视觉中呈现时（如数字发音或非画面声音），文本条件化的音频表征是否能提升检索性能？
• RQ3 音频增强带来的性能提升是源于音频与视频的互补信息，还是仅仅因为更优的模态对齐？
• RQ4 当应用于高计算成本的大规模视频数据集时，TEFAL 在实际应用中的可扩展性如何？

主要发现

• 在 MSR-VTT 上，TEFAL 达到 Recall@1 为 49.4%，相比 E-CLIP-SE 提升超过 4%，证明其达到最先进性能。
• 在 LSMDC 上，TEFAL 将 Recall@1 从均值池化基线的 20.9% 提升至 26.8%，表明在不同数据集上均具有一致性增益。
• 与仅使用视频的基线相比，加入文本条件化音频表征使性能提升 2.5%，证实音频在检索中的价值。
• 在均值池化方法选出的前 10% 搜索空间上使用 TEFAL 进行重排序，性能仅出现可忽略的下降，证明其具备良好的可扩展性。
• 与简单拼接音频和视频嵌入或使用第三个交叉注意力模块的融合方法相比，直接相加的性能更优，表明融合并非简单任务。
• 消融实验确认，为音频与视频分别使用独立的交叉注意力机制优于视觉-音频融合，因其可有效防止关键音频线索被抑制。