[论文解读] Multimodal Fusion Refiner Networks

Sethuraman Sankaran, David Y. Yang+1 more|arXiv (Cornell University)|Apr 8, 2021

Anomaly Detection Techniques and Applications参考文献 54被引用 9

一句话总结

本文提出了一种模块化框架——Refiner Fusion Network（ReFNet），通过施加责任条件来平衡潜在空间中单模态与多模态表征，从而增强多模态融合。通过将精炼模块与融合网络及对比学习相结合，ReFNet在下游任务中提升了性能，实现了更优的潜在空间聚类效果，并在标注数据有限的情况下仍保持高准确率。

ABSTRACT

Tasks that rely on multi-modal information typically include a fusion module that combines information from different modalities. In this work, we develop a Refiner Fusion Network (ReFNet) that enables fusion modules to combine strong unimodal representation with strong multimodal representations. ReFNet combines the fusion network with a decoding/defusing module, which imposes a modality-centric responsibility condition. This approach addresses a big gap in existing multimodal fusion frameworks by ensuring that both unimodal and fused representations are strongly encoded in the latent fusion space. We demonstrate that the Refiner Fusion Network can improve upon performance of powerful baseline fusion modules such as multimodal transformers. The refiner network enables inducing graphical representations of the fused embeddings in the latent space, which we prove under certain conditions and is supported by strong empirical results in the numerical experiments. These graph structures are further strengthened by combining the ReFNet with a Multi-Similarity contrastive loss function. The modular nature of Refiner Fusion Network lends itself to be combined with different fusion architectures easily, and in addition, the refiner step can be applied for pre-training on unlabeled datasets, thus leveraging unsupervised data towards improving performance. We demonstrate the power of Refiner Fusion Networks on three datasets, and further show that they can maintain performance with only a small fraction of labeled data.

研究动机与目标

• 解决现有多模态融合框架中过度侧重多模态表征而未能充分利用强单模态信号的局限性。
• 通过引入责任条件来正则化融合模块，防止梯度消失，从而提升融合表征质量。
• 通过精炼模块在融合嵌入空间中诱导潜在图结构。
• 通过利用精炼模块进行自监督预训练，实现仅用极少标注数据即可提升性能。
• 将精炼模块与度量学习结合，以提升多模态任务中的聚类与表征学习效果。

提出的方法

• ReFNet架构将融合模块与精炼模块结合，后者将融合特征解码为模态特定的表征，通过原始特征与解码特征之间的余弦相似度损失施加责任条件。
• 责任条件作为正则化项，促进训练过程中单模态与多模态神经元的均衡学习。
• 精炼模块在融合后应用，可与任何现有融合架构集成，包括多模态Transformer（如ViLBERT）。
• 应用多相似度对比损失以增强样本与模态之间的潜在图结构，改善嵌入空间中的聚类效果。
• 精炼模块支持在无标签数据上进行预训练，使模型能够利用无监督数据提升下游性能。
• 采用T-SNE可视化分析并验证了融合嵌入在潜在空间中聚类性能的提升。

实验结果

研究问题

• RQ1 责任驱动的精炼模块是否能在性能上超越ViLBERT等强基线模型？
• RQ2 精炼模块是否能在融合嵌入空间中诱导出有意义的潜在图结构？该现象是否可在特定条件下得到证明？
• RQ3 将精炼模块与度量学习（如多相似度损失）结合后，对表征质量与下游性能有何影响？
• RQ4 当仅有少量标注数据时，ReFNet的性能可维持在何种程度？
• RQ5 当某一模态在融合过程中占主导地位时，精炼模块是否能缓解梯度消失并提升学习效果？

主要发现

• 与ViLBERT基线相比，ReFNet在Hateful Meme数据集上实现了超过5.53%的相对准确率提升和1.84%的AUC增益。
• 在MM-IMDB数据集上，仅使用5%的标注数据时，ReFNet将micro-F1提升4.05，macro-F1提升13.77；与度量学习结合后（ReFNet MS）性能进一步提升。
• T-SNE可视化显示，ReFNet生成的聚类比ViLBERT更清晰分离，且ReFNet MS实现了六个明确的聚类，对应每种模态（视觉与语言）的三个类别。
• 精炼模块在嵌入空间中诱导出强潜在图结构，该结果在特定条件下得到理论支持，并通过聚类实验得到实证验证。
• ReFNet在数据稀缺场景下表现出强鲁棒性，即使标注数据极少也能保持高性能，显著降低标注成本。
• 当某一模态主导融合过程时，精炼模块有效缓解了梯度消失问题，并提升了表征学习效果。