[论文解读] Attention Bottlenecks for Multimodal Fusion

Arsha Nagrani, Shan Yang+4 more|arXiv (Cornell University)|Jun 30, 2021

Music and Audio Processing参考文献 62被引用 264

一句话总结

本论文提出多模态瓶颈变换器 (MBT)，通过瓶颈令牌限制跨模态融合，从而在降低计算量的同时提升音视频分类性能，且在 AudioSet、Epic-Kitchens100 和 VGGSound 上达到最新最先进的结果。

ABSTRACT

Humans perceive the world by concurrently processing and fusing high-dimensional inputs from multiple modalities such as vision and audio. Machine perception models, in stark contrast, are typically modality-specific and optimised for unimodal benchmarks, and hence late-stage fusion of final representations or predictions from each modality (`late-fusion') is still a dominant paradigm for multimodal video classification. Instead, we introduce a novel transformer based architecture that uses `fusion bottlenecks' for modality fusion at multiple layers. Compared to traditional pairwise self-attention, our model forces information between different modalities to pass through a small number of bottleneck latents, requiring the model to collate and condense the most relevant information in each modality and only share what is necessary. We find that such a strategy improves fusion performance, at the same time reducing computational cost. We conduct thorough ablation studies, and achieve state-of-the-art results on multiple audio-visual classification benchmarks including Audioset, Epic-Kitchens and VGGSound. All code and models will be released.

研究动机与目标

• 通过结构化瓶颈实现跨模态交互，从而推动超越仅在后阶段融合的多模态融合。
• 提出 MBT，通过融合瓶颈来限制跨模态信息流，以降低二次注意力成本。
• 在标准的音视频基准数据集上评估 MBT，并与最先进方法进行比较。
• 分析融合层位置（早期/中期/晚期）和瓶颈大小对性能与效率的影响。

提出的方法

• 将音频与视觉输入表示为补丁，并在变换器标记中嵌入它们，同时使用分离的模态标记。
• 引入融合瓶颈标记，强制跨模态信息在每一层内通过一小组潜在单元。
• 允许使用普通自注意力、带模态特定参数的跨注意力，或基于瓶颈的跨模态注意力，瓶颈限制同一层内的跨模态流动。
• 在中融合（后续层中的融合）上进行实验，以在单模态特征学习与跨模态交互之间取得平衡，而不是在早期或晚期融合。
• 使用 ViT-like backbones 在 AudioSet、Epic-Kitchens-100、and VGGSound 上进行训练和评估，结合数据增广和模态 MixUp。

实验结果

研究问题

• RQ1 在不牺牲性能的前提下，将跨模态注意力限制在一个较小的瓶颈内，是否可以提高多模态融合的效率？
• RQ2 在音视频视频基准数据集上，带有瓶颈的中融合是否优于早期或晚期融合？
• RQ3 瓶颈大小和融合层位置对准确性与计算量有何影响？
• RQ4 模态特定权重和输入采样策略是否会影响多模态融合性能？

主要发现

• 带瓶颈融合的 MBT 在性能优于无限制跨模态融合的同时，降低了计算成本。
• 带瓶颈的中融合在 AudioSet、Epic-Kitchens-100 和 VGGSound 上实现了最先进的性能。
• 在 AudioSet 上，MBT 比之前的最先进方法高出 5.9 mAP（相对提升 12.7%）。
• 较少数量的瓶颈标记（B=4）相比晚期融合在计算量几乎不增加的情况下带来显著提升。
• 注意力图显示 MBT 能定位到与音频事件相关的语义区域，凸显了跨模态条件的有效性。
• MBT 在不同片段长度和数据集规模下都保持稳健性能，在所有数据集中均超越单模态基线。