[논문 리뷰] Demystifying CLIP Data

Xu Hu, Saining Xie외 8명|arXiv (Cornell University)|2023. 09. 28.

Multimodal Machine Learning Applications인용 수 22

한 줄 요약

이 논문은 메타CLIP(MetaCLIP)을 제시하며, 메타데이터 기반의 데이터 큐레이션 방법으로 원시 웹 데이터에서 메타데이터 정보를 활용한 하위 집합을 균형 있게 반영해 CLIP 스타일의 데이터 수집 방식을 드러내고 개선합니다. 추가 모델링 변경 없이 여러 ViT 스케일에서 CLIP보다 더 높은 zero-shot ImageNet 정확도를 달성합니다.

ABSTRACT

Contrastive Language-Image Pre-training (CLIP) is an approach that has advanced research and applications in computer vision, fueling modern recognition systems and generative models. We believe that the main ingredient to the success of CLIP is its data and not the model architecture or pre-training objective. However, CLIP only provides very limited information about its data and how it has been collected, leading to works that aim to reproduce CLIP's data by filtering with its model parameters. In this work, we intend to reveal CLIP's data curation approach and in our pursuit of making it open to the community introduce Metadata-Curated Language-Image Pre-training (MetaCLIP). MetaCLIP takes a raw data pool and metadata (derived from CLIP's concepts) and yields a balanced subset over the metadata distribution. Our experimental study rigorously isolates the model and training settings, concentrating solely on data. MetaCLIP applied to CommonCrawl with 400M image-text data pairs outperforms CLIP's data on multiple standard benchmarks. In zero-shot ImageNet classification, MetaCLIP achieves 70.8% accuracy, surpassing CLIP's 68.3% on ViT-B models. Scaling to 1B data, while maintaining the same training budget, attains 72.4%. Our observations hold across various model sizes, exemplified by ViT-H achieving 80.5%, without any bells-and-whistles. Curation code and training data distribution on metadata is made available at https://github.com/facebookresearch/MetaCLIP.

연구 동기 및 목표

• CLIP의 데이터 큐레이션 접근 방식과 모델 성능에 미치는 영향을 아키텍처 및 훈련 일정 고정 상태로 밝히기.
• 메타데이터에서 도출된 균형화를 사용하는 투명하고 오픈된 데이터 큐레이션 파이프라인인 MetaCLIP을 제안하기.
• 여러 모델 크기와 데이터 규모에서 원시 웹 데이터에 비해 메타데이터 guided 큐레이션의 이점을 정량화하기.

제안 방법

• WordNet 동의어 집합과 Wikipedia 항목에서 파생된 메타데이터 세트를 구성하여 CLIP의 질의 공간을 반영합니다.
• 대규모 풀(CommonCrawl)에서 메타데이터 항목과 이미지-텍스트 쌍을 맞추기 위한 부분 문자열 일치 매칭을 적용합니다.
• 항목에서 텍스트로의 역인덱스를 구축하고 일치 배포를 분석하여 데이터 특성을 드러냅니다.
• 항목별 개수를 임계치 t로 제한하여 데이터를 균형 있게 조정하고 헤드 엔트리와.tail 엔트리를 균등화하여 노이즈를 줄입니다.
• 비용이 큰 역인덱스 저장 없이 M과 t를 사용하여 D*를 D에서 큐레이션하는 간단하고 확장 가능한 알고리즘(독립 샘플링)을 제공합니다.
• CLIP 유사한 훈련 예산 하에서 ViT-B/32, ViT-B/16, ViT-L/14, ViT-H/14를 대상으로 평가합니다.

실험 결과

연구 질문

• RQ1 메타데이터 기반 균형화가 아키텍처나 학습 목표를 바꾸지 않고 시각-언어 사전 학습용 훈련 데이터의 질과 분포를 개선할 수 있는가?
• RQ2 메타데이터 큐레이션과 균형화가 모델 크기와 데이터 규모에 걸쳐 제로샷 성능에 어떤 영향을 미치는가?
• RQ3 데이터 규모(400M vs 1B vs 2.5B)와 균형 임계값 t가 다운스트림 정확도 및 데이터 다양성에 미치는 영향은 무엇인가?
• RQ4 동일 예산으로 웹 소스로 수집된 데이터를 사용하여 MetaCLIP가 CLIP 및 OpenCLIP과 비교하여 어떤 성능 차이를 보이는가?

주요 결과

• 400M 데이터로 구성된 MetaCLIP은 ViT 모델에서 CLIP의 WIT400M 및 LAION-400M을 상회하는 제로샷 ImageNet 성능을 보입니다(예: ViT-B/32: 70.8% vs 68.3%).
• t = 20k로 메타데이터 카운트를 균형 있게 조정하면 비균형 데이터보다 강한 성능을 보이며 헤드 엔트리의 우위 지배를 크게 감소시킵니다.
• 동일 예산으로 1B 및 2.5B 데이터로 확대하더라도 ImageNet 성능이 유지되거나 향상되며, 예를 들어 MetaCLIP(2.5B)에서 ViT-L/14은 79.0–79.4%, ViT-H/14은 80.5%의 ImageNet 성능을 달성합니다.
• MetaCLIP은 ViT-B/32, ViT-B/16, ViT-L/14에서 CLIP 및 OpenCLIP보다 평균 정확도가 더 높습니다.
• 온라인 균형화(데이터 로더)도 유사한 이점을 제공하여 실전 적용 가능성을 강조합니다.
• 제거의 결과, t는 15k–35k 주변에서 강건하며 400M 규모에서 p=20k가 최적인 경우가 많으며 비균형 1.6B 데이터는 균형 설정과 비교해 ImageNet 성능이 저하됩니다.