[논문 리뷰] mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections

Chenliang Li, Haiyang Xu외 13명|arXiv (Cornell University)|2022. 05. 24.

Multimodal Machine Learning Applications인용 수 15

한 줄 요약

mPLUG는 다중모달 학습에서 정보 비대칭성과 계산 비효율성을 해결하기 위해 교차모달 스킵 커넥션을 사용하는 시각-언어 기초 모델을 제안한다. 레이어 간 스킵 커넥션을 통해 시각과 언어 표현 간의 비대칭 융합을 가능하게 하여, mPLUG는 시각-언어 작업에서 최고 성능을 달성하고, 보다 적은 사전학습 데이터로도 비디오-언어 작업으로의 강력한 제로샷 전이를 이룬다.

ABSTRACT

Large-scale pretrained foundation models have been an emerging paradigm for building artificial intelligence (AI) systems, which can be quickly adapted to a wide range of downstream tasks. This paper presents mPLUG, a new vision-language foundation model for both cross-modal understanding and generation. Most existing pre-trained models suffer from the problems of low computational efficiency and information asymmetry brought by the long visual sequence in cross-modal alignment. To address these problems, mPLUG introduces an effective and efficient vision-language architecture with novel cross-modal skip-connections, which creates inter-layer shortcuts that skip a certain number of layers for time-consuming full self-attention on the vision side. mPLUG is pre-trained end-to-end on large-scale image-text pairs with both discriminative and generative objectives. It achieves state-of-the-art results on a wide range of vision-language downstream tasks, such as image captioning, image-text retrieval, visual grounding and visual question answering. mPLUG also demonstrates strong zero-shot transferability when directly transferred to multiple video-language tasks.

연구 동기 및 목표

• 이미지에는 짧고 추상적인 캡션보다 더 풍부한 시각적 세부 정보가 포함되어 있는 시각과 언어 모odal 간의 정보 비대칭성을 해결하기 위해.
• 긴 시각 시퀀스에서의 전체 자기주의 어텐션을 줄여 시각-언어 모델의 계산 효율성을 향상시키기 위해.
• 시각-언어 이해 및 생성 작업을 위한 통합 아키텍처를 설계하기 위해.
• 微fine-tuning 없이도 비디오-언어 작업으로의 강력한 제로샷 일반화를 가능하게 하기 위해.
• 계산 비용과 파라미터 효율성 측면에서 감소된 비용으로 최고 성능을 달성하기 위해.

제안 방법

• 교차모달 스킵 커넥션을 도입하여 레이어 간 스킵 커넥션을 만들고, 이로써 시각적 표현이 여러 레이어를 건너뛰어 고수준의 언어 표현과 정렬되도록 한다.
• 비대칭 공주의 메커니즘을 적용하여 공주를 언어 측면에서만 적용함으로써, 시각 측면의 계산을 줄인다.
• 하이브리드 융합 전략을 사용한다: 초기 비대칭 공주 이후, 시각적 및 언어적 특징을 연결하여 하나의 연결된 어텐션 레이어를 통과한다.
• 대규모 이미지-텍스트 쌍을 사용하여 mPLUG를 엔드 투 엔드로 사전학습하고, 대비 손실과 접두사 언어 모델링 목적함수를 사용한다.
• 학습 중 흐려짐된 기울기 문제를 완화하기 위해 잔차 스타일의 스킵 커넥션을 활용한다.
• 비디오 입력을 위해 균일한 프레임 샘플링과 특징 연결을 적용하여 제로샷 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 교차모달 스킵 커넥션은 성능을 유지하거나 향상시키면서도 시각-언어 모델의 계산 비용을 효과적으로 줄일 수 있는가?
• RQ2 비대칭 융합이 다중모달 정렬에서 시각과 언어 표현 간의 정보 비대칭성을 어떻게 완화하는가?
• RQ3 이미지-텍스트 데이터로 사전학습한 시각-언어 모델이 제로샷 설정에서 비디오-언어 작업으로 얼마나 잘 일반화되는가?
• RQ4 통합 아키텍처가 시각-언어 이해 및 생성 작업 모두에서 최고 성능을 달성할 수 있는가?
• RQ5 더 큰 모델에 비해 mPLUG는 효율성과 제로샷 전이 가능성 측면에서 어떻게 비교되는가?

주요 결과

• mPLUG는 이미지 캡션 생성에서 최고 성능을 달성하여, NoCaps 검증 세트에서 CIDEr 점수 122.5를 기록했고, SimVLM huge와 같은 완전히 지도 학습된 모델들을 능가한다.
• 이미지-텍스트 검색에서 mPLUG는 Flickr30K에서 R@1 44.3과 R@5 66.4를 기록했으며, CLIP나 Florence와 같은 모델들을 뛰어넘었고, 더 적은 사전학습 데이터로도 성능을 달성했다.
• MSRVTT에서 제로샷 비디오-텍스트 검색에서 mPLUG는 R@1 38.1%를 기록했고, VideoCLIP와 VIOLET을 능가했으며, 대규모 비디오 데이터셋으로 미세조정된 모델들과도 맞먹는 성능을 보였다.
• MSRVTT-QA에서 제로샷 비디오 질의응답에서 mPLUG는 정확도 21.1%를 기록했고, 추가적인 비디오 사전학습 없이도 BLIP의 19.2%를 뛰어넘었다.
• VATEX에서 비디오 캡션 생성에서 mPLUG는 CIDEr 점수 42.0을 기록했고, BLIP의 37.4를 능가하여 강력한 제로샷 생성 능력을 입증했다.
• 교차모달 스킵 연결 네트워크는 전통적인 융합 네트워크 대비 추론 시간을 최소 4배 이상 줄였고, 성능을 유지하거나 향상시켰다.