[논문 리뷰] RegionCLIP: Region-based Language-Image Pretraining

Yiwu Zhong, Jianwei Yang외 9명|arXiv (Cornell University)|2021. 12. 16.

Multimodal Machine Learning Applications인용 수 12

한 줄 요약

RegionCLIP는 사전 훈련된 CLIP 모델을 사용하여 가짜 영역 설명을 생성함으로써 이미지 영역과 텍스트 개념 간의 미세한 정렬을 학습하는 영역 기반 시각-언어 사전 훈련 방법을 제안한다. 대조 학습과 지식 정착을 통해 진짜 이미지-텍스트 쌍과 가짜 영역-텍스트 쌍 양측 모두에서 사전 훈련함으로써, RegionCLIP는 COCO와 LVIS에서 각각 3.8 AP50 및 2.2 AP의 성능 향상을 이룩하며, 개방형 어휘 객체 검출에서 최고 성능을 달성하고, 강력한 제로샷 검출 능력을 제공한다.

ABSTRACT

Contrastive language-image pretraining (CLIP) using image-text pairs has achieved impressive results on image classification in both zero-shot and transfer learning settings. However, we show that directly applying such models to recognize image regions for object detection leads to poor performance due to a domain shift: CLIP was trained to match an image as a whole to a text description, without capturing the fine-grained alignment between image regions and text spans. To mitigate this issue, we propose a new method called RegionCLIP that significantly extends CLIP to learn region-level visual representations, thus enabling fine-grained alignment between image regions and textual concepts. Our method leverages a CLIP model to match image regions with template captions and then pretrains our model to align these region-text pairs in the feature space. When transferring our pretrained model to the open-vocabulary object detection tasks, our method significantly outperforms the state of the art by 3.8 AP50 and 2.2 AP for novel categories on COCO and LVIS datasets, respectively. Moreoever, the learned region representations support zero-shot inference for object detection, showing promising results on both COCO and LVIS datasets. Our code is available at https://github.com/microsoft/RegionCLIP.

연구 동기 및 목표

• CLIP 기반 모델에서 이미지 수준과 영역 수준의 시각적 이해 간 도메인 이탈 문제를 해결하기 위해.
• 수동으로 영역 수준의 주석이 필요 없이 이미지 영역과 텍스트 스트링 간의 미세한 정렬을 가능하게 하기 위해.
• 개방형 어휘 객체 검출 작업에서 제로샷 및 전이 학습 성능을 향상시키기 위해.
• 각 이미지와 함께 제공되는 텍스트를 초월해 영역 설명을 스케일러블하게 생성하기 위한 방법을 개발하기 위해.
• 시각-언어 모델에서 이미지 수준 사전 훈련과 영역 수준 인식 간 격차를 메우기 위해.

제안 방법

• 사전 훈련된 CLIP 모델을 사용하여 정해진 템플릿에 객체 개념을 삽입함으로써 가짜 영역-텍스트 쌍을 생성한다.
• 사전 훈련된 CLIP 모델을 활용해 후보 이미지 영역를 합성된 설명과 매칭함으로써, 노이즈가 있지만 유용한 지도를 생성한다.
• 대조 학습을 통해 진짜 이미지-텍스트 쌍과 생성된 가짜 영역-텍스트 쌍을 모두 사용하여 새로운 시각-언어 모델을 사전 훈련한다.
• 지식 정착을 적용하여 교사 CLIP 모델의 정렬 지식을 학생인 RegionCLIP 모델로 이전한다.
• 이중 브랜치 아키텍처를 사용하여 이미지 영역에 대한 공동 시각적 및 텍스트적 표현을 학습한다.
• 객체 검출에서 기본 및 신규 카테고리 간 성능 균형을 맞추기 위해 피닝 조정을 미세조정 단계에서 사용한다.

실험 결과

연구 질문

• RQ1 이미지-텍스트 쌍에서 사전 훈련된 시각-언어 모델이 객체 검출에서 영역 수준 이해에 효과적으로 적응될 수 있는가?
• RQ2 수동으로 주석이 달린 영역 설명이 없이도 이미지 영역과 텍스트 토큰 간의 미세한 정렬을 어떻게 학습할 수 있는가?
• RQ3 가짜 레이블이 부여된 영역-텍스트 쌍을 사용할 경우, 후행 객체 검출 성능에 어떤 영향을 미치는가?
• RQ4 영역 기반 사전 훈련이 얼마나 높은 수준의 신규 카테고리에 대해 제로샷 객체 검출을 가능하게 하는가?
• RQ5 교사 모델의 선택과 백본 아키텍처의 선택이 학생인 RegionCLIP 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• RegionCLIP는 개방형 어휘 객체 검출에서 신규 카테고리에 대해 이전 최고 성능 대비 COCO 데이터셋에서 3.8 AP50 향상을 달성한다.
• LVIS 데이터셋에서 RegionCLIP는 이전 방법 대비 신규 카테고리에 대해 AP 2.2 포인트 향상된다.
• COCO의 일반화된 제로샷 설정에서 RegionCLIP는 17개의 기본 카테고리와 48개의 신규 카테고리로 39.3 AP50 성능을 기록하며, CLIP 대비 7.9 포인트 높은 성능을 보인다.
• LVIS에서 1203개 카테고리에 대한 제로샷 추론 결과, RegionCLIP는 '티드리 베어'(99.5% 신뢰도)와 같은 고신뢰도 레이블을 정확히 예측하지만, CLIP는 이를 수행하지 못한다.
• 실패 사례조차도 RegionCLIP는 '페럿'이나 '셰퍼드 도그'와 같이 시각적으로 유사한 개념을 예측하지만, CLIP는 '그리즐리'나 '고릴라'처럼 의미적으로 관련 없는 것을 예측한다.
• 절단 실험 결과, 피닝 조정이 신규 카테고리에서 일반화 성능을 향상시키며, 교사 모델의 품질이 제로샷 성능에 크게 영향을 준다는 것이 확인되었다.