[논문 리뷰] MLP Architectures for Vision-and-Language Modeling: An Empirical Study

Yixin Nie, Linjie Li외 7명|arXiv (Cornell University)|2021. 12. 08.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 시각-언어(VL) 융합에 다층퍼셉트론(MLP)을 사용하는 데 있어 최초의 실증적 연구를 제시한다. 결과적으로, 사전 훈련 없이 MLP만을 사용할 경우 트랜스포머보다 성능이 열등하지만, 대규모 VL 사전 훈련과 최소한의 하나의 헤드 어텐션만으로도 성능 격차를 메울 수 있음을 보여준다. 또한, 사전 훈련을 거친 모든 MLP 기반 VL 모델은 사전 훈련되지 않은 트랜스포머를 능가함을 입증하여, 충분한 사전 훈련을 거치면 MLP가 VL 모델링에 매우 유망한 잠재력을 지닌다는 점을 시사한다.

ABSTRACT

We initiate the first empirical study on the use of MLP architectures for vision-and-language (VL) fusion. Through extensive experiments on 5 VL tasks and 5 robust VQA benchmarks, we find that: (i) Without pre-training, using MLPs for multimodal fusion has a noticeable performance gap compared to transformers; (ii) However, VL pre-training can help close the performance gap; (iii) Instead of heavy multi-head attention, adding tiny one-head attention to MLPs is sufficient to achieve comparable performance to transformers. Moreover, we also find that the performance gap between MLPs and transformers is not widened when being evaluated on the harder robust VQA benchmarks, suggesting using MLPs for VL fusion can generalize roughly to a similar degree as using transformers. These results hint that MLPs can effectively learn to align vision and text features extracted from lower-level encoders without heavy reliance on self-attention. Based on this, we ask an even bolder question: can we have an all-MLP architecture for VL modeling, where both VL fusion and the vision encoder are replaced with MLPs? Our result shows that an all-MLP VL model is sub-optimal compared to state-of-the-art full-featured VL models when both of them get pre-trained. However, pre-training an all-MLP can surprisingly achieve a better average score than full-featured transformer models without pre-training. This indicates the potential of large-scale pre-training of MLP-like architectures for VL modeling and inspires the future research direction on simplifying well-established VL modeling with less inductive design bias. Our code is publicly available at: https://github.com/easonnie/mlp-vil

연구 동기 및 목표

• 다층퍼셉트론(MLP)이 시각-언어(VL) 작업에서 다중모odal 융합을 위해 트랜스포머를 효과적으로 대체할 수 있는지 조사하기.
• MLP 기반 VL 모델에 대한 대규모 VL 사전 훈련의 영향을 평가하기.
• 시각 인코더와 다중모달 융합 인코더를 모두 MLP로 대체한 모든 MLP 아키텍처가 경쟁적인 성능을 달성할 수 있는지 탐색하기.
• 어텐션 메커니즘의 인덕티브 바이어스 없이도 MLP가 교차모달 정렬을 학습할 수 있는지 평가하기.
• 다양한 VL 작업과 강력한 VQA 벤치마크를 대상으로 MLP 기반 VL 모델에 대한 체계적인 벤치마킹 제공하기.

제안 방법

• 시각 및 텍스트 인코더를 그대로 유지하면서, 트랜스포머 기반 다중모달 융합 모듈을 다층퍼셉트론(MLP)으로 대체하기.
• MLP 아키텍처에 소형의 하나의 헤드 어텐션 모듈을 도입하여 성능에 미치는 영향을 평가하기.
• 다섯 가지 표준 VL 작업과 다섯 가지 강력한 VQA 벤치마크에서 MLP, 트랜스포머, 하이브리드 MLP-어텐션 변종을 비교하기 위해 모델을 훈련하고 평가하기.
• 시각 인코더를 최신의 MLP 기반 시각 모델(MLP-Mixer, Permutator MLP 등)으로 대체하고, 텍스트에는 워드 임베딩을 사용하여 모든 MLP 기반 VL 모델을 구현하기.
• 대규모 VL 데이터셋에서의 사전 훈련을 통해 MLP 기반 모델의 일반화 능력과 성능 평가하기.
• MLP 레이어에서 학습된 상호작용 행렬을 시각화하여 교차모달 특징 상호작용 분석하기.

실험 결과

연구 질문

• RQ1 다층퍼셉트론(MLP)이 시각-언어 작업에서 다중모달 융합을 위해 트랜스포머를 효과적으로 대체할 수 있는가?
• RQ2 대규모 VL 사전 훈련이 MLP와 트랜스포머 간의 성능 격차를 어느 정도 메워주는가?
• RQ3 MLP 기반 융합에 대해 다수의 헤드 어텐션을 필수로 하는가, 아니면 하나의 헤드 어텐션으로도 충분한가?
• RQ4 시각 인코딩과 다중모달 융합 모두를 MLP로 대체한 모든 MLP 아키텍처가 VL 작업에서 경쟁적인 성능을 달성할 수 있는가?
• RQ5 ImageNet-1k에서의 MLP 기반 시각 인코더 성능이 VL 벤치마크에서의 성능과 어떻게 관련이 있는가?

주요 결과

• 사전 훈련 없이도 MLP 기반 융합은 트랜스포머에 비해 눈에 띄는 성능 격차를 보이며, 일부 VQA 벤치마크에서 최대 10점의 성능 저하가 발생한다.
• 대규모 VL 사전 훈련은 MLP와 트랜스포머 간의 성능 격차를 크게 줄여주며, MLP가 트랜스포머 성능을 따라하거나 거의 따라잡을 수 있도록 한다.
• MLP에 단일 헤드 어텐션 모듈을 추가하는 것만으로도 전체 트랜스포머 성능과 유사한 성능을 달성할 수 있으며, 이는 강력한 어텐션 메커니즘이 반드시 필요하지 않음을 시사한다.
• 더 어려운 강력한 VQA 벤치마크에서 MLP와 트랜스포머 간의 성능 격차는 확대되지 않아, 유사한 일반화 능력을 지닌다는 점을 시사한다.
• 모든 MLP 기반 VL 모델은 완전 기능을 갖춘 사전 훈련된 트랜스포머에 비해 열등하지만, 사전 훈련되지 않은 트랜스포머보다 평균적으로 더 높은 성능을 기록하며, 이는 MLP에 대한 사전 훈련의 중요성을 강조한다.
• 기존의 MLP 기반 시각 인코더(MLP-Mixer 등)는 ImageNet-1k에서 양호한 성능를 보이지만, VQA에서는 상당히 열등한 성능를 보이며, VL 특화된 특징 학습에서 성능 격차가 존재함을 시사한다.