[논문 리뷰] VoLTA: Vision-Language Transformer with Weakly-Supervised Local-Feature Alignment

Shraman Pramanick, Jing Li외 5명|arXiv (Cornell University)|2022. 10. 09.

Multimodal Machine Learning Applications인용 수 11

한 줄 요약

VoLTA는 이미지-캡션 쌍만을 사용하여 고해상도 영역 수준의 이해를 달성하는 시각-언어 트랜스포머를 제안한다. 이는 고비용의 바운딩 박스 애너테이션을 제거한다. VoLTA는 워셔슈타인 거리와 그로모프-워셔슈타인 거리의 조합을 사용한 그래프 최적 운반(GOT)을 활용하여 약한 감독 하에 국소 특징을 정렬하며, 단일 모odal 백본 내부에 깊은 다중모달 융합을 통합하고, 하류 작업에서 상당히 더 많은 박스 애너테이션 데이터를 요구하는 기존 방법들을 능가한다.

ABSTRACT

Vision-language pre-training (VLP) has recently proven highly effective for various uni- and multi-modal downstream applications. However, most existing end-to-end VLP methods use high-resolution image-text box data to perform well on fine-grained region-level tasks, such as object detection, segmentation, and referring expression comprehension. Unfortunately, such high-resolution images with accurate bounding box annotations are expensive to collect and use for supervision at scale. In this work, we propose VoLTA (Vision-Language Transformer with weakly-supervised local-feature Alignment), a new VLP paradigm that only utilizes image-caption data but achieves fine-grained region-level image understanding, eliminating the use of expensive box annotations. VoLTA adopts graph optimal transport-based weakly-supervised alignment on local image patches and text tokens to germinate an explicit, self-normalized, and interpretable low-level matching criterion. In addition, VoLTA pushes multi-modal fusion deep into the uni-modal backbones during pre-training and removes fusion-specific transformer layers, further reducing memory requirements. Extensive experiments on a wide range of vision- and vision-language downstream tasks demonstrate the effectiveness of VoLTA on fine-grained applications without compromising the coarse-grained downstream performance, often outperforming methods using significantly more caption and box annotations.

연구 동기 및 목표

• 고비용의 바운딩 박스 애너테이션에 의존하지 않고도 고해상도 영역 수준의 시각-언어 이해를 달성하는 데 도전한다.
• 이미지 수준과 영역 수준의 시각-언어 작업을 이미지-캡션 쌍만을 사용하여 하나의 사전학습 프레임워크 안에서 통합한다.
• 메모리, 계산량, 시간 효율성이 뛰어나고 대규모 웹에서 수집한 이미지-캡션 데이터에 효과적으로 스케일링되는 VLP 파라다임을 개발한다.
• 기존 방법의 한계를 극복한다. 기존 방법들은 either 이미지 수준의 이해에 집중(전역 특징에 대한 대비 손실 사용)하거나, 영역 수준의 감독(바운딩 박스)이 필요하다.

제안 방법

• 워셔슈타인 거리(WD)와 그로모프-워셔슈타인 거리(GWD)를 조합한 그래프 최적 운반(GOT) 목적함수를 도입하여, 약한 감독 하에 국소 이미지 패치와 텍스트 토큰을 정렬한다.
• 표준 대비 학습을 바탕으로 한 레드던던시 감소 목적함수(Barlow Twins의 영향을 받음)로 대체하여, 하드 네거티브 샘플링 없이도 데이터 및 계산 요구량을 감소시킨다.
• 다중모달 융합을 단일 모달 시각 및 언어 트랜스포머 백본(예: Swin Transformer) 내부에 깊이 통합하여 전용 융합 트랜스포머 레이어가 필요 없도록 한다.
• GOT에서 유도된 자기정규화되고 해석 가능한 매칭 기준을 사용하여, 시각 패치와 텍스트 스팬 간의 명시적이고 주의 기반의 정렬을 생성한다.
• 이미지-텍스트 쌍만을 사용하여 대규모 이미지-캡션 데이터셋(예: COCO)에서 사전학습을 수행하며, 이는 거시적 및 미세조정된 하류 작업으로의 제로샷 전이를 가능하게 한다.
• FIBER와 유사한 이중 단계 학습 전략을 사용하지만, 더 적은 애너테이션 의존도를 가지며, 상자 예측이 아니라 국소 특징 정렬에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 바운딩 박스 애너테이션 없이도 고해상도 영역 수준의 시각-언어 이해를 달성할 수 있는가?
• RQ2 WD와 GWD를 사용한 그래프 최적 운반은 기존 워셔슈타인 거리에 비해 약한 감독 하의 국소 특징 정렬을 향상시키는가?
• RQ3 단일 모달 백본 내부에 깊이 융합을 구현하면 전용 융합 트랜스포머보다 효율성과 성능 면에서 뛰어나지 않는가?
• RQ4 이미지-캡션 쌍만으로 사전학습된 통합 VLP 프레임워크가 이미지 수준과 영역 수준의 하류 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 VoLTA는 상당히 더 많은 박스 애너테이션 데이터를 사용하는 강력한 기준 모델에 비해 하류 작업 정확도와 효율성 면에서 어떻게 비교되는가?

주요 결과

• VoLTA는 어떤 바운딩 박스 애너테이션도 사용하지 않고 참조 표현 이해(RefCOCO, RefCOCO+, RefCOCOg)에서 최신 기술 수준의 성능을 달성하며, 유사한 객체가 여러 개인 어려운 샘플에서 CLIP 기반 모델을 능가한다.
• 언어 조건부 프롬프트가 적용된 COCO 객체 검출에서 VoLTA는 텍스트 프롬프트에 관련된 상자를 성공적으로 예측한다. 예를 들어, 'person'과 'cup'을 탐지하면서 관련 없는 객체는 무시한다.
• 시각 질문 응답(VQAv2) 및 시각 추론(NLVR2) 작업에서 VoLTA는 강력한 일반화 능력을 보이며, 객체 수, 색상, 공간 관계를 포함한 복잡한 질문에 정확하게 답한다.
• VoLTA-B(Swin-B 백본)는 이미지 분류 및 검색 작업에서 경쟁적인 성능을 기록하여, 미세조정된 정렬이 거시적 성능을 손상시키지 않음을 보여준다.
• VoLTA는 상당히 더 적은 박스 애너테이션 데이터로 사전학습되었음에도 불구하고, CLIP 및 FIBER와 같은 강력한 기준 모델보다 여러 하류 작업에서 성능이 뛰어나며, 뛰어난 데이터 효율성을 입증한다.
• 정성적 주의 맵을 통해 VoLTA가 텍스트 스팬에 기반해 의미적으로 관련된 이미지 영역을 주의 집중하는 것을 확인할 수 있다. 예를 들어, 참조 표현 이해에서 '왼쪽에 있는 케이크 조각'에 주의를 기울인다.