[논문 리뷰] Grid-VLP: Revisiting Grid Features for Vision-Language Pre-training

Ming Yan, Haiyang Xu외 5명|arXiv (Cornell University)|2021. 08. 21.

Multimodal Machine Learning Applications참고 문헌 22인용 수 6

한 줄 요약

이 논문은 사전에 훈련된 CNN(예: ResNeXt)에서 유도된 격자 기반의 컨볼루션 특징을 영역 기반 특징 대신 사용하는 Grid-VLP를 제안한다. 이는 더 빠르고 단순하며 더 효과적인 다중모odal 학습을 가능하게 한다. MS-COCO와 Visual Genome와 같은 도메인 내 데이터만을 사용함에도 불구하고, VQA, NLVR2, GQA에서 대부분의 영역 기반 VLP 모델을 능가하며, 엔드 투 엔드 PixelBERT를 초월함으로써 격자 기반 특징이 효율적이고 높은 성능을 낼 수 있는 잠재력을 입증한다.

ABSTRACT

Existing approaches to vision-language pre-training (VLP) heavily rely on an object detector based on bounding boxes (regions), where salient objects are first detected from images and then a Transformer-based model is used for cross-modal fusion. Despite their superior performance, these approaches are bounded by the capability of the object detector in terms of both effectiveness and efficiency. Besides, the presence of object detection imposes unnecessary constraints on model designs and makes it difficult to support end-to-end training. In this paper, we revisit grid-based convolutional features for vision-language pre-training, skipping the expensive region-related steps. We propose a simple yet effective grid-based VLP method that works surprisingly well with the grid features. By pre-training only with in-domain datasets, the proposed Grid-VLP method can outperform most competitive region-based VLP methods on three examined vision-language understanding tasks. We hope that our findings help to further advance the state of the art of vision-language pre-training, and provide a new direction towards effective and efficient VLP.

연구 동기 및 목표

• 기존의 영역 기반 시각-언어 사전 훈련(VLP) 방법에서 객체 검출기의 비효율성과 제약을 해결하기 위해.
• 격자 기반의 컨볼루션 특징이 VLP에서 영역 기반 특징의 타당하고도 열등한 대체 수단이 될 수 있는지 조사하기 위해.
• 객체 검출기 의존성을 제거함으로써 더 빠르고 단순하며 엔드 투 엔드로 훈련 가능한 VLP 모델을 가능하게 하기 위해.
• 복잡한 데이터 증강이나 미세조정 기법 없이도 표준 시각-언어 이해 벤치마크에서 격자 기반 특징의 성능을 평가하기 위해.

제안 방법

• Grid-VLP는 객체 검출기에서 유도된 영역 제안 대신 사전에 훈련된 CNN(예: ResNeXt)을 사용해 이미지에서 격자 기반 특징 맵을 추출한다.
• 두 개의 스트림을 갖춘 트랜스포머 아키텍처를 사용해 텍스트 토큰과 2차원 격자 기반 특징 맵 간에 직접 다중모달 융합을 수행하며, LXMERT와 유사하다.
• 훈련 중에 랜덤 격자 샘플링 기법을 적용해 시퀀스 길이를 줄이고 훈련 속도를 높이며, 긴 시각적 시퀀스에 대한 강건성을 향상시킨다.
• 표준 VLP 목적함수를 사용해 MS-COCO와 Visual Genome에서 사전 훈련을 수행한다: 마스킹 언어 모델링, 이미지-텍스트 매칭, 이미지 질의 응답.
• 이미지 해상도는 짧은 변을 600으로 조정하고, 긴 변은 최대 1000까지 허용하며, 훈련 중에는 이미지당 100개의 랜덤 격자를 샘플링한다.
• 훈련에는 8개의 V100 GPU, 배치 크기 512, AdamW 옵timizer, 기준 학습률 $10^{-4}$ 를 사용해 총 30 에포크 동안 수행된다.

실험 결과

연구 질문

• RQ1 객체 검출기를 사용하지 않고도 격자 기반의 컨볼루션 특징이 영역 기반 특징보다 시각-언어 사전 훈련에서 뛰어난 성능을 낼 수 있는가?
• RQ2 이미지 인코더 백본의 선택(예: ResNeXt-50, -101, -152)이 격자 기반 VLP의 성능에 어떤 영향을 미치는가?
• RQ3 입력 이미지 해상도가 Grid-VLP의 정확도와 추론 속도에 어떤 영향을 미치는가?
• RQ4 간단한 격자 기반 접근 방식이 도메인 내 사전 훈련 데이터만으로도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• Grid-VLP는 VQA, NLVR2, GQA의 세 가지 주요 태스크에서 대부분의 경쟁적 영역 기반 VLP 방법을 능가하며, 데이터 증강이나 적대적 훈련 없이도 성능을 확보한다.
• VQA v2.0 벤치마크에서 ResNeXt-152를 사용한 Grid-VLP는 특징 추출 시간이 훨씬 낮음에도 불구하고, 영역 기반 ResNeXt-152 베이스라인(75.12%)을 뛰어넘는 76.05%의 정확도를 기록한다.
• 더 작은 입력 이미지 크기(448×448)를 사용할 경우, 전체 600×1000 해상도 대비 3배 빠른 속도를 기록하지만, VQA 정확도는 0.34% 감소에 그친다.
• ResNeXt-50에서 ResNeXt-152로 인코더 깊이를 늘일수록 VQA 정확도가 74.34%에서 76.05%로 향상되어 강력한 시각적 백본의 중요성을 확인한다.
• Grid-VLP는 도메인 내 사전 훈련 데이터만으로 GQA와 NLVR2에서 최신 기술 수준의 성능을 달성하며, 대규모 외부 도메인 검출 데이터를 사용하는 모델들을 능가한다.
• 모델의 성능은 랜덤 격자 샘플링에 대해 강건하며, 샘플링한 격자 수를 100에서 64 또는 128로 줄여도 성능 저하가 유의미하게 발생하지 않는다.