[논문 리뷰] KD-VLP: Improving End-to-End Vision-and-Language Pretraining with Object Knowledge Distillation

Yongfei Liu, Chenfei Wu외 4명|arXiv (Cornell University)|2021. 09. 22.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

KD-VLP는 두 가지 새로운 사전 과제인 개체 지도 마스킹 시각 모델링과 표현-영역 정렬을 통해 외부 검출기로부터 개체 수준 지식을 흡수함으로써 다중 모odal 표현 학습을 향상시키는 엔드 투 엔드 시각-언어 사전학습 프레임워크를 제안한다. 이 방법은 미세조정 단계에서 개체 검출기가 필요 없이 여러 시각-언어 벤치마크에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

Self-supervised vision-and-language pretraining (VLP) aims to learn transferable multi-modal representations from large-scale image-text data and to achieve strong performances on a broad scope of vision-language tasks after finetuning. Previous mainstream VLP approaches typically adopt a two-step strategy relying on external object detectors to encode images in a multi-modal Transformer framework, which suffer from restrictive object concept space, limited image context and inefficient computation. In this paper, we propose an object-aware end-to-end VLP framework, which directly feeds image grid features from CNNs into the Transformer and learns the multi-modal representations jointly. More importantly, we propose to perform object knowledge distillation to facilitate learning cross-modal alignment at different semantic levels. To achieve that, we design two novel pretext tasks by taking object features and their semantic labels from external detectors as supervision: 1.) Object-guided masked vision modeling task focuses on enforcing object-aware representation learning in the multi-modal Transformer; 2.) Phrase-region alignment task aims to improve cross-modal alignment by utilizing the similarities between noun phrases and object labels in the linguistic space. Extensive experiments on a wide range of vision-language tasks demonstrate the efficacy of our proposed framework, and we achieve competitive or superior performances over the existing pretraining strategies.

연구 동기 및 목표

• 외부 개체 검출기에 의존하는 두 단계 VLP 방법의 한계를 해결하고자 하며, 이는 제한된 개체 개념 공간과 비효율적인 계산으로 인해 발생한다.
• CNN 격자 특징을 직접 사용하면서도 개체 수준의 의미를 유지하는 엔드 투 엔드 시각-언어 사전학습을 가능하게 하고자 한다.
• 개체 검출기로부터 의미적 및 특징 수준의 지식을 다중 모odal Transformer로 흡수하여 교차 모odal 정렬을 향상시키고자 한다.
• 엔드 투 엔드 방식으로 개체 인식 표현과 표현-영역 상응성을 학습할 수 있도록 하는 사전 과제를 설계하고자 한다.

제안 방법

• CNN 기반 모델에서 추출한 이미지 격자 특징을 입력으로 받아 다중 모odal Transformer를 통해 처리하는 엔드 투 엔드 VLP 프레임워크를 도입하여 추론 단계에서 외부 검출기 의존성을 제거한다.
• 주변 시각적 및 언어적 맥락을 활용해 개체 영역 특징과 의미적 레이블을 재구성하는 개체 지도 마스킹 시각 모델링(OMVM)을 제안한다.
• 명사구와 개체 레이블 간 유사도를 기반으로 재구성 대상 개체 후보를 선택하는 지식 기반 마스킹 전략을 설계한다.
• 언어적 표현 임베딩과 개체 영역 임베딩을 언어 공간 내 유사도 점수를 이용해 정렬하는 표현-영역 정렬(PRA)을 도입한다.
• 표준 ITM 및 MLM에 더해 OMVM과 PRA를 결합한 다중 과제 학습 목표를 활용하여 다중 모달 표현 학습을 공동 최적화한다.
• 사전학습 단계에서 표준 개체 검출기(예: BUTD, Faster R-CNN)를 사용해 개체 특징과 레이블을 추출하고, 이를 엔드 투 엔드 모델로 흡수한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 VLP 모델이 추론 단계에서 외부 검출기를 사용하지 않고도 외부 검출기로부터의 개체 수준 지식을 통합함으로써 더 높은 성능을 달성할 수 있는가?
• RQ2 표준 마스킹 특징 재구성과 비교해 개체 지도 마스킹 시각 모델링은 표현 학습에 어떻게 향상되는가?
• RQ3 표현-영역 정렬은 언어 엔터티와 시각적 개체 간의 교차 모달 정렬을 어느 정도 향상시키는가?
• RQ4 더 풍부한 개체 개념 공간(예: 1600개 카테고리)에서의 지식 흡수는 더 작은 공간(예: 80개 카테고리)보다 더 나은 최종 성능을 이끌어내는가?

주요 결과

• NLVR2에서 66.71%의 정확도와 VQA-test dev에서 68.19%의 정확도를 기록하여 SOHO보다 각각 1.87%, 1.50% 높은 성능을 달성했다.
• MSCOCO-TR에서 R@1이 0.78% 향상되고, MSCOCO-IR에서 1.87% 향상되어 표현-영역 정렬 과제가 교차 모달 정렬에 효과적임을 입증했다.
• COCO에서 BUTD(1600개 카테고리)를 사용할 경우 Faster R-CNN(80개 카테고리)보다 더 높은 성능을 보여, 더 큰 개체 개념 공간이 사전학습에 유리함을 시사한다.
• 제거 분석 결과, 제안된 모든 사전 과제(MRC, MRFR, PRA)가 성능 향상에 기여하며, 전체 모델은 기준 모델 대비 NLVR2에서 4.58% 높은 성능을 기록했다.
• 시각화 결과 지식 기반 마스킹 전략이 표현과 관련된 이미지 영역에 집중하는 것을 확인했고, 어텐션 맵은 '웃는'과 같은 단어를 해당 얼굴 영역에 더 정확하게 로컬라이징하는 것으로 나타났다.
• 모델 크기에 관계없이 개체 지식 흡수로 인한 성능 향상은 일관되며, 더 큰 모델일수록 외부 개체 의미를 더 효과적으로 활용할 수 있음을 보여주었다.