[논문 리뷰] VLMAE: Vision-Language Masked Autoencoder

Sunan He, Taian Guo외 5명|arXiv (Cornell University)|2022. 08. 19.

Multimodal Machine Learning Applications인용 수 9

한 줄 요약

VLMAE는 비디오-언어 마스킹 오토에인코더 프레임워크를 제안하여 픽셀 수준의 재구성과 마스킹된 특징 예측을 통해 비디오-언어 사전학습에서의 집중 편향을 완화한다. 이로 인해 최대 20% 빠른 사전학습 속도를 기록하며 최신 기술 성능을 달성한다. 이 방법은 지역 및 특징 수준의 마스킹을 통해 비대칭 인코더-디코더 아키텍처를 사용하여 종합적인 이미지 이해와 다중모달 정렬을 향상시킨다.

ABSTRACT

Image and language modeling is of crucial importance for vision-language pre-training (VLP), which aims to learn multi-modal representations from large-scale paired image-text data. However, we observe that most existing VLP methods focus on modeling the interactions between image and text features while neglecting the information disparity between image and text, thus suffering from focal bias. To address this problem, we propose a vision-language masked autoencoder framework (VLMAE). VLMAE employs visual generative learning, facilitating the model to acquire fine-grained and unbiased features. Unlike the previous works, VLMAE pays attention to almost all critical patches in an image, providing more comprehensive understanding. Extensive experiments demonstrate that VLMAE achieves better performance in various vision-language downstream tasks, including visual question answering, image-text retrieval and visual grounding, even with up to 20% pre-training speedup.

연구 동기 및 목표

• 비디오-언어 사전학습에서 텍스트로 묘사된 주목할 만한 이미지 영역에 과도하게 집중함으로써 다른 중요한 객체를 간과하는 집중 편향 문제를 해결하기 위해.
• 종합적인 이미지 특징 추출을 장려하는 생성형 사전학습 작업을 활용하여 다중모달 표현 학습을 향상시키기 위해.
• 효율적인 마스킹 및 재구성 전략을 통해 사전학습 비용을 줄이면서 성능을 유지하거나 향상시키기 위해.
• 새로운 손실 함수인 지역 마스킹 이미지 모델링(RMIM)과 이미지 특징 재구성(IFR)을 통해 이미지-텍스트 정렬 및 모델 표현 능력을 향상시키기 위해.

제안 방법

• VLMAE는 비디오 및 언어를 위한 별도의 유모달 인코더를 갖춘 비대칭 인코더-디코더 아키텍처를 사용하며, 픽셀 재구성을 위한 경량 이미지 디코더와 다중모달 특징 집합을 위한 융합 학습자(fusion learner)를 포함한다.
• 사전학습 중에 이미지 패치에 최대 50%의 높은 마스킹 비율을 적용하여 인코더가 가시 패치에서 학습하고 누락된 패치를 재구성하도록 유도함으로써 강력하고 편향 없는 특징 학습을 촉진한다.
• 지역 마스킹 이미지 모델링(RMIM)은 국소 영역의 이미지 패치를 재구성함으로써 이미지-텍스트 정렬을 향상시키고, 교차모달 일관성을 개선한다.
• 이미지 특징 재구성(IFR)은 가시 패치를 기반으로 마스킹된 시각적 패치 특징을 예측할 수 있도록 하여 이미지 인코더의 표현 능력을 향상시킨다.
• 대비 학습(ITC)과 마스킹된 언어 모델링(MLM)은 생성형 목표와 함께 결합되어 정렬과 재구성을 동시에 최적화한다.
• 마스킹 전략은 사전학습 중에 이미지 패치의 50%만 처리함으로써 계산 비용을 줄여 MACs와 학습 시간을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 마스킹된 이미지 재구성과 함께 생성형 사전학습이 비디오-언어 모델의 집중 편향을 줄일 수 있는가?
• RQ2 다중모달 학습에서 지역 마스킹은 전반적인 마스킹에 비해 이미지-텍스트 정렬을 어떻게 향상시키는가?
• RQ3 시각적 패치의 특징 수준 재구성이 모델 표현 능력을 얼마나 향상시키는가?
• RQ4 마스킹 오토에인코더 프레임워크가 사전학습 비용을 줄이면서도 비디오-언어 과제에서 최신 기술 성능을 달성할 수 있는가?
• RQ5 높은 패치 마스킹 비율이 비디오-언어 표현 학습에서 일반화 및 강건성에 기여하는가?

주요 결과

• VLMAE는 이미지-텍스트 검색(이미지-텍스트 검색: 98.2 TR, 92.9 IR, Flickr30k 기준)과 시각적 질문 응답 과제에서 최신 기술 성능을 달성하며, ALBEF와 TCL을 능가한다.
• 50% 마스킹 비율을 적용했을 때 VLMAE는 ALBEF 대비 사전학습 시간을 20% 단축(6.2시간 대비 7.7시간)하고 MACs를 18% 감소시켰다(49.6G 대비 60.5G).
• Grad-CAM 시각화 결과 VLMAE는 시각적 기반에서 관련된 전체 이미지 영역에 주목하는 반면, ALBEF는 주목할 만한 객체에만 좁게 집중한다.
• 제거 실험 결과 MIM, RMIM, IFR 손실을 추가할 경우 성능 향상이 확인되었으며, 특히 RMIM가 정렬 향상에 가장 큰 기여를 하였다.
• 주의 가중치 분석 결과 VLMAE는 이미지 패치 전역에 걸쳐 주의를 더 균형 있게 분배하여 낮은 주의를 보이는 영역의 간과를 줄이고 편향을 최소화한다.
• 75% 마스킹 비율 조건에서도 모델은 강력한 성능 유지를 보였으며, 성능 저하가 약간 발생함에도 불구하고 높은 마스킹에 대한 강건성을 입증하였다.