[논문 리뷰] SemVLP: Vision-Language Pre-training by Aligning Semantics at Multiple Levels

Chenliang Li, Ming Yan외 5명|arXiv (Cornell University)|2021. 03. 14.

Multimodal Machine Learning Applications참고 문헌 28인용 수 20

한 줄 요약

SemVLP는 공유된 단일 스트림 및 이중 스트림 트랜스포머 아키텍처를 사용하여 반복적으로 사전 훈련함으로써 저수준 특징과 고수준 의미 수준에서 이미지 및 텍스트 표현을 동시에 정렬하는 통합된 시각-언어 사전 훈련 프레임워크를 제안한다. 가급적 교차 모달 어텐션 모듈과 파rameter 공유를 활용하여 SemVLP는 동일한 모델 크기의 기존 단일 스트림 및 이중 스트림 모델을 능가하는 성능을 다양한 시각-언어 작업에서 달성한다.

ABSTRACT

Vision-language pre-training (VLP) on large-scale image-text pairs has recently witnessed rapid progress for learning cross-modal representations. Existing pre-training methods either directly concatenate image representation and text representation at a feature level as input to a single-stream Transformer, or use a two-stream cross-modal Transformer to align the image-text representation at a high-level semantic space. In real-world image-text data, we observe that it is easy for some of the image-text pairs to align simple semantics on both modalities, while others may be related after higher-level abstraction. Therefore, in this paper, we propose a new pre-training method SemVLP, which jointly aligns both the low-level and high-level semantics between image and text representations. The model is pre-trained iteratively with two prevalent fashions: single-stream pre-training to align at a fine-grained feature level and two-stream pre-training to align high-level semantics, by employing a shared Transformer network with a pluggable cross-modal attention module. An extensive set of experiments have been conducted on four well-established vision-language understanding tasks to demonstrate the effectiveness of the proposed SemVLP in aligning cross-modal representations towards different semantic granularities.

연구 동기 및 목표

• 기존의 시각-언어 사전 훈련 방법이 하나의 의미 수준 정렬에 국한되어 있다는 한계를 해결하기 위해.
• 세부적인 특징 수준과 고수준 추상적 의미를 동시에 모델링하여 시각과 언어 간의 의미 격차를 해소하기 위해.
• 공유된 트랜스포머와 플러그 가능한 교차 어텐션 모듈을 통해 단일 스트림 및 이중 스트림 아키텍처의 장점을 통합하기 위해.
• 세부적인 설명과 추상적인 설명 등 다양한 의미 분해 수준을 가진 이미지-텍스트 쌍에 대해 일반화 능력을 향상시키기 위해.

제안 방법

• SemVLP는 단일 스트림 및 이중 스트림 사전 훈련 모드 모두에서 공유된 트랜스포머 인코더를 사용하여 파라미터 공유와 상호 정규화를 가능하게 한다.
• 단일 스트림 모드에서는 이미지 영역 특징과 텍스트 토큰을 연결하여 공유된 트랜스포머에 입력함으로써 종단 간 특징 수준 정렬을 수행한다.
• 이중 스트림 모드에서는 이미지와 텍스트가 공유된 트랜스포머에 별도로 인코딩된 후, 고수준 의미 융합을 위한 플러그 가능한 교차 어텐션 모듈이 적용된다.
• 모델은 두 모드 간에 반복적으로 사전 훈련되어, 네트워크가 다중 의미 분해 수준에서 교차 모달 정렬을 학습할 수 있도록 한다.
• 교차 어텐션 모듈은 다양한 레이어(예: L_s = 6)에 동적으로 삽입되어 고수준 의미 정렬을 최적화한다.
• 微조정은 단일 스트림 아키텍처를 사용하여 수행되며, 이는 이론적으로 이중 스트림 미세조정보다 더 우수한 성능을 보인다.

실험 결과

연구 질문

• RQ1 고정된 수준의 정렬 대비 다중 의미 수준에서의 공동 사전 훈련이 시각-언어 표현 학습에 향상 효과를 미칠 수 있는가?
• RQ2 파라미터 공유를 통한 단일 스트림 및 이중 스트림 아키텍처의 조합이 모델 일반화에 어떤 영향을 미치는가?
• RQ3 이중 스트림 모드에서 교차 어텐션을 어느 레이어에 도입해야 저수준과 고수준 의미 정렬을 가장 잘 균형 잡을 수 있는가?
• RQ4 두 모드 모두를 사용한 반복적 사전 훈련이 모델을 정규화하고 후행 작업 성능을 향상시키는가?
• RQ5 두 모드 모두로 사전 훈련된 모델에 대해 단일 스트림 미세조정이 이중 스트림 미세조정보다 더 효과적인가?

주요 결과

• 12층의 SemVLP 모델은 동일한 모델 크기의 이전의 모든 단일 스트림 및 이중 스트림 아키텍처보다 네 가지 벤치마크 작업에서 뛰어난 성능을 보였다.
• VQA 작업에서 SemVLP는 74.52%의 정확도를 달성하여 단일 스트림 베이스라인(74.52%)과 이중 스트림 베이스라인(73.92%)을 모두 능가했다.
• 제거 실험 결과, 단일 스트림 및 이중 스트림 모드를 모두 사용한 사전 훈련이 단일 모드만 사용할 경우보다 더 뛰어난 성능을 내는 것으로 나타났다.
• 교차 어텐션을 L_s = 6 레이어에 도입했을 때 이중 스트림 성능이 최적화되었으며, 이는 중간 수준의 추상화가 고수준 정렬에 가장 효과적임을 시사한다.
• 시각화 결과 SemVLP는 어텐션 맵에서 'person'과 'people'을 정확히 구분하는 반면, 단일 스트림 모델은 이를 수행하지 못함을 확인했다.
• 모든 작업에서 단일 스트림 아키텍처로 미세조정을 수행할 경우 더 뛰어난 결과를 얻었으며, 이는 사전 훈련 과정이 특징 수준 융합 능력을 향상시킨다는 것을 시사한다.