[논문 리뷰] Unified Multimodal Pre-training and Prompt-based Tuning for Vision-Language Understanding and Generation

Tianyi Liu, Zuxuan Wu외 3명|arXiv (Cornell University)|2021. 12. 10.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 양방향 및 인과적 마스킹을 병행하여 사전학습하는 방식을 통해 이해 및 생성 기능을 통합한 통합된 시각-언어 사전학습 프레임워크인 UniVL을 제안한다. 프롬프트 기반 튜닝을 통해 다운스트림 작업을 텍스트 생성 문제로 재구성함으로써, UniVL는 시각-언어 이해 및 생성 작업 모두에서 경쟁력 있는 성능을 달성하였으며, 프롬프트 기반 미세조정은 소수의 샘플이 있는 설정에서 뛰어난 데이터 효율성을 보였다.

ABSTRACT

Most existing vision-language pre-training methods focus on understanding tasks and use BERT-like objectives (masked language modeling and image-text matching) during pretraining. Although they perform well in many understanding downstream tasks, e.g., visual question answering, image-text retrieval and visual entailment, they do not possess the ability to generate. To tackle this problem, we propose Unified multimodal pre-training for both Vision-Language understanding and generation (UniVL). The proposed UniVL is capable of handling both understanding tasks and generative tasks. We augment existing pretraining paradigms that only use random masks with causal masks, i.e., triangular masks that mask out future tokens, such that the pre-trained models can have autoregressive generation abilities by design. We formulate several previous understanding tasks as a text generation task and propose to use prompt-based method for fine-tuning on different downstream tasks. Our experiments show that there is a trade-off between understanding tasks and generation tasks while using the same model, and a feasible way to improve both tasks is to use more data. Our UniVL framework attains comparable performance to recent vision-language pre-training methods on both understanding tasks and generation tasks. Moreover, we demostrate that prompt-based finetuning is more data-efficient - it outperforms discriminative methods in few-shot scenarios.

연구 동기 및 목표

• 기존의 시각-언어 모델이 이해 작업에만 집중하고 생성 기능이 부족한 점을 해결하기 위해.
• 단일 공유 아키텍처 내에서 다중모odal 사전학습을 이해 및 생성 작업 모두에 통합하기 위해.
• 작업별 분류기 대신 프롬프트 기반 미세조정을 활용하여 소수 샘플 일반화 성능을 향상시키기 위해.
• 통합 모델에서 이해 및 생성 성능 간의 상호 상충 관계를 조사하기 위해.
• 인과적 마스킹과 가용 프롬프트 설계가 생성 및 분류 능력을 향상시키는 데 얼마나 효과적인지 평가하기 위해.

제안 방법

• 사전학습 중 표준 양방향 마스킹에 더해 인과적(삼각형) 마스킹을 추가하여 자동회귀적 생성 기능을 가능하게 한다.
• 이미지 및 텍스트 인코더를 갖춘 다중모달 트랜스포머를 사용하고, 교차 attention 통합을 통해 공동 표현 학습을 수행한다.
• 분류 기반 이해 작업(예: VQA, 시각적 함의)을 [MASK] 토큰을 삽입함으로써 마스크된 언어 모델링 작업으로 재구성한다.
• 가용([unused]) 토큰을 학습 가능한 프롬프트로 사용하여 모델의 생성을 이끌며, 프롬프트의 위치와 길이를 성능 최적화를 위해 조정한다.
• 모델이 이미지 및 텍스트 입력을 조건으로 [MASK] 토큰을 예측하는 방식으로 프롬프트 기반 생성을 통한 통합 모델 미세조정을 수행한다.
• 선형 분류기를 사용한 분류 기반 미세조정과 비교하여, 이해 및 생성 벤치마크에서 양쪽 모두를 평가한다.

실험 결과

연구 질문

• RQ1 단일 통합 시각-언어 모델이 별도의 아키텍처 없이 이해 및 생성 작업을 효과적으로 처리할 수 있는가?
• RQ2 사전학습 중 인과적 마스킹이 모델의 생성 능력에 어떤 영향을 미치는가?
• RQ3 프롬프트 기반 미세조정은 분류 기반 미세조정에 비해 소수 샘플 성능을 얼마나 향상시키는가?
• RQ4 통합 사전학습 환경에서 이해 및 생성 성능 간의 상호 상충 관계는 어떻게 나타나는가?
• RQ5 프롬프트의 위치와 길이는 다운스트림 작업에서 프롬프트 기반 튜닝의 효과성에 어떤 영향을 미치는가?

주요 결과

• 사전학습 중 인과적 마스킹을 추가함으로써 이미지 캡션 생성 성능이 크게 향상되었으며, 이해 작업 성능는 약간 감소하였다.
• 이해 및 생성 성능 간의 상호 상충 관계가 존재하지만, 사전학습 데이터를 늘임으로써 이러한 불균형이 완화되고 양쪽 작업 모두에 유익한 영향을 미친다.
• 프롬프트 기반 미세조정은 이해 작업에서 분류 기반 방법과 유사한 성능을 달성하였으며, 특히 소수 샘플 설정에서 뛰어난 성능을 보였다.
• VQA 및 시각적 함의 작업에서는, 프롬프트 기반 생성이 분류 기반 방법보다 저자원 환경에서 더 나은 일반화 성능을 보였다.
• 최적의 프롬프트 길이는 약 16 토큰이며, 더 긴 프롬프트(예: 32 토큰)는 정확도 향상에 한계를 보였다.
• 프롬프트를 입력 시퀀스의 중간에 배치하는 것([QUESTION] + [CTX] + [MASK])이 시작 부분에 배치하는 것보다 성능이 뛰어나며, 특히 VQA 및 시각적 함의 작업에서 두드러진다.