[논문 리뷰] ROSITA: Enhancing Vision-and-Language Semantic Alignments via Cross- and Intra-modal Knowledge Integration

Yuhao Cui, Yu Zhou외 5명|arXiv (Cornell University)|2021. 08. 16.

Multimodal Machine Learning Applications참고 문헌 52인용 수 4

한 줄 요약

ROSITA는 시각-언어 사전학습 방법을 제안하며, 통합된 시나리오 그래프에 교차모달 및 내모달 지식을 통합함으로써 세분화된 의미적 정렬을 향상시킨다. 구조적 지식 마스킹(SKM) 전략을 도입하여 마스킹된 언어 및 영역 모델링을 향상시킨다. 이는 세 가지 시각-언어 작업에서 여섯 개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 더 강력하고 정밀한 교차모달 정렬을 통해 기존 방법을 능가한다.

ABSTRACT

Vision-and-language pretraining (VLP) aims to learn generic multimodal representations from massive image-text pairs. While various successful attempts have been proposed, learning fine-grained semantic alignments between image-text pairs plays a key role in their approaches. Nevertheless, most existing VLP approaches have not fully utilized the intrinsic knowledge within the image-text pairs, which limits the effectiveness of the learned alignments and further restricts the performance of their models. To this end, we introduce a new VLP method called ROSITA, which integrates the cross- and intra-modal knowledge in a unified scene graph to enhance the semantic alignments. Specifically, we introduce a novel structural knowledge masking (SKM) strategy to use the scene graph structure as a priori to perform masked language (region) modeling, which enhances the semantic alignments by eliminating the interference information within and across modalities. Extensive ablation studies and comprehensive analysis verifies the effectiveness of ROSITA in semantic alignments. Pretrained with both in-domain and out-of-domain datasets, ROSITA significantly outperforms existing state-of-the-art VLP methods on three typical vision-and-language tasks over six benchmark datasets.

연구 동기 및 목표

• 기존의 시각-언어 사전학습(VLP) 방법이 이미지-텍스트 쌍에서 내재된 지식을 충분히 활용하지 못하는 한계를 해결하기 위해.
• 이미지 영역과 텍스트 단어 간의 세분화된 의미적 정렬을 향상시켜, 후속 V+L 작업에 핵심적인 영향을 미치기 위해.
• 교차모달 지식(이미지와 텍스트 간)과 내모달 지식(각 모달리티 내부)을 통합된 프레임워크에 통합하기 위해.
• 구조화된 지식을 활용하는 보다 효과적인 사전학습을 위해 강력한 마스킹 전략을 개발하기 위해.
• 다양한 시각-언어 벤치마크에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 앵커 객체를 중심으로 한 통합된 시나리오 그래프를 구성하여, 교차모달 관계(예: '잔디' ↔ '초원')와 내모달 관계(예: 공간적으로 관련된 영역 또는 의미적으로 관련된 단어)를 인코딩한다.
• 시나리오 그래프 내에서의 구조적 역할에 따라 앵커 객체와 관련 지식 항목을 선택적으로 마스킹하는 새로운 구조적 지식 마스킹(SKM) 전략을 도입한다.
• 각 지식 항목에 대해 독립적인 마스킹 확률을 사용하여 정보 마스킹에 대한 세분화된 제어를 가능하게 하여, 균일한 확률 전략에 비해 더 높은 강건성을 확보한다.
• 기존 VLP 모델에서 사용하는 표준 마스킹 언어(영역) 모델링 목표에 SKM을 원활하게 통합한다.
• 통합된 시나리오 그래프와 SKM을 사용하여 도메인 내 및 도메인 외 데이터셋에서 모델을 사전학습함으로써 교차모달 정렬을 향상시킨다.

Figure 1 . Schematic of the knowledge integration strategies of three VLP methods, i.e. , OSCAR (Li et al . , 2020b ) , ERNIE-ViL (Yu et al . , 2021 ) , and our ROSITA. OSCAR and ERNIE-ViL only exploit the intra-modal knowledge from the image and text modalities, respectively. In contrast, ROSITA si

실험 결과

연구 질문

• RQ1 통합된 시나리오 그래프에 교차모달 및 내모달 지식을 통합하면 시각-언어 의미 정렬이 향상되는가?
• RQ2 제안된 구조적 지식 마스킹(SKM) 전략은 표준 마스킹 방법에 비해 정렬 학습을 얼마나 잘 향상시키는가?
• RQ3 각 지식 항목에 대해 독립적인 마스킹 확률을 사용할 경우, 동일한 고정 확률에 비해 일반화 성능이 향상되는가?
• RQ4 통합 지식 통합 전략은 다양한 시각-언어 벤치마크에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ5 ROSITA는 UNITER와 같은 기준 모델에 비해 주의 기반 교차모달 정렬을 얼마나 향상시키는가?

주요 결과

• ROSITA는 세 가지 핵심 시각-언어 작업(시각질의, 이미지-텍스트 검색, 언어로 지시된 영역 식별)에서 여섯 개의 벤치마크 데이터셋에서 기존 최신 기술 수준(SOTA) VLP 방법을 뛰어넘는 성능을 보였다.
• ROSITA의 전체 모델는 모든 추상화된 변형보다 뚜렷이 뛰어나, 교차모달 및 내모달 지식을 공동으로 통합하는 것이 효과적임을 확인한다.
• 독립적인 마스킹 확률을 사용하는 SKM 전략은 동일한 확률 전략보다 뛰어난 성능을 달성하며, 하이퍼파라미터 설정에 민감한 전략보다 더 우수하다.
• 시각화된 주의 맵을 통해 ROSITA는 정밀한 교차모달 정렬을 학습함을 확인할 수 있다. 예를 들어, 마스킹된 '경사로' 영역을 정확히 'ramp'라는 단어에 대응시키며, UNITER와 같은 기준 모델은 잘못된 토큰인 'skate'에 주의를 기울인다.
• 여러 개의 영역이나 단어를 동시에 마스킹할 경우에도 ROSITA는 정확한 정렬을 유지하며, 'bowls & carrots'를 'bowl'과 'carrots'에 정확히 연결하고, 'man', 'candles', 'cake'을 각각의 이미지 영역에 정확히 연결한다.

Figure 2 . The flowchart of knowledge extraction given an image-text pair. It consists of two main stages, namely the unified scene graph construction and knowledge representation.