[论文解读] MLP Architectures for Vision-and-Language Modeling: An Empirical Study

Yixin Nie, Linjie Li+7 more|arXiv (Cornell University)|Dec 8, 2021

Multimodal Machine Learning Applications被引用 5

一句话总结

本文首次对使用MLP进行视觉-语言（VL）融合进行了实证研究，表明尽管在未预训练的情况下MLP单独使用时性能低于Transformer，但通过大规模VL预训练和极简的一头注意力机制，可显著缩小性能差距。研究进一步表明，尽管经过预训练的纯MLP VL模型仍非最优，但其性能可超越未预训练的Transformer模型，凸显了在充分预训练下MLP在VL建模中的潜力。

ABSTRACT

We initiate the first empirical study on the use of MLP architectures for vision-and-language (VL) fusion. Through extensive experiments on 5 VL tasks and 5 robust VQA benchmarks, we find that: (i) Without pre-training, using MLPs for multimodal fusion has a noticeable performance gap compared to transformers; (ii) However, VL pre-training can help close the performance gap; (iii) Instead of heavy multi-head attention, adding tiny one-head attention to MLPs is sufficient to achieve comparable performance to transformers. Moreover, we also find that the performance gap between MLPs and transformers is not widened when being evaluated on the harder robust VQA benchmarks, suggesting using MLPs for VL fusion can generalize roughly to a similar degree as using transformers. These results hint that MLPs can effectively learn to align vision and text features extracted from lower-level encoders without heavy reliance on self-attention. Based on this, we ask an even bolder question: can we have an all-MLP architecture for VL modeling, where both VL fusion and the vision encoder are replaced with MLPs? Our result shows that an all-MLP VL model is sub-optimal compared to state-of-the-art full-featured VL models when both of them get pre-trained. However, pre-training an all-MLP can surprisingly achieve a better average score than full-featured transformer models without pre-training. This indicates the potential of large-scale pre-training of MLP-like architectures for VL modeling and inspires the future research direction on simplifying well-established VL modeling with less inductive design bias. Our code is publicly available at: https://github.com/easonnie/mlp-vil

研究动机与目标

• 探究MLP是否能有效替代Transformer用于视觉-语言（VL）任务中的多模态融合。
• 评估大规模VL预训练对基于MLP的VL模型的影响。
• 探索是否可通过将融合模块和视觉编码器均替换为MLP，构建纯MLP架构并实现具有竞争力的性能。
• 评估MLP是否能在不依赖注意力机制归纳偏置的情况下学习跨模态对齐。
• 在多样化的VL任务和鲁棒VQA基准上，系统性地评估基于MLP的VL模型。

提出的方法

• 在保持视觉和文本编码器不变的前提下，将基于Transformer的多模态融合模块替换为多层感知机（MLP）。
• 在MLP架构中引入一个极小的单头注意力模块，以评估其对性能的影响。
• 在五个标准VL任务和五个鲁棒VQA基准上训练并评估模型，以比较MLP、Transformer及MLP-注意力混合模型的性能。
• 通过将视觉编码器替换为先进的基于MLP的视觉模型（如MLP-Mixer、Permutator MLP）并使用词嵌入表示文本，构建纯MLP VL模型。
• 利用大规模VL数据集进行预训练，以评估基于MLP的模型的泛化能力和性能表现。
• 可视化MLP层中学习到的交互矩阵，以分析跨模态特征交互。

实验结果

研究问题

• RQ1 MLP能否在视觉-语言任务中有效替代Transformer用于多模态融合？
• RQ2 大规模VL预训练在多大程度上能缩小MLP与Transformer在VL融合中的性能差距？
• RQ3 MLP-based融合是否需要复杂的多头注意力机制，还是单头注意力已足够？
• RQ4 纯MLP架构（即视觉编码和多模态融合均使用MLP）是否能在VL任务中实现具有竞争力的性能？
• RQ5 基于MLP的视觉编码器在ImageNet-1k上的表现与在VL基准上的表现之间是否存在相关性？

主要发现

• 在未预训练的情况下，基于MLP的融合在部分VQA基准上与Transformer相比性能差距明显，最高下降达10个百分点。
• 大规模VL预训练显著缩小了MLP与Transformer之间的性能差距，使MLP能够匹配或几乎匹配Transformer的性能。
• 在MLP中加入一个单头注意力模块即可实现与完整Transformer相当的性能，表明复杂的注意力机制并非必需。
• MLP与Transformer之间的性能差距在更难的鲁棒VQA基准上并未扩大，表明两者具有相似的泛化能力。
• 尽管与全功能预训练的Transformer相比性能仍不理想，但纯MLP VL模型的平均性能优于未预训练的Transformer模型，凸显了预训练对MLP的重要性。
• 现有基于MLP的视觉编码器（如MLP-Mixer）在ImageNet-1k上表现良好，但在VQA任务上显著更差，表明其在VL特定特征学习方面存在性能差距。