[논문 리뷰] Data Determines Distributional Robustness in Contrastive Language Image Pre-training (CLIP)

Alex Chengyu Fang, Gabriel Ilharco외 5명|arXiv (Cornell University)|2022. 05. 03.

Multimodal Machine Learning Applications인용 수 27

한 줄 요약

연구는 CLIP 스타일 로버스트니스의 다섯 가지 잠재 원인을 체계적으로 시험하고, 훈련 분포 다양성이 로버스트니스를 지배하며 언어 감독과 손실 함수가 기여를 거의 하지 않는다고 결론짓습니다. 또한 제어된 언어-이미지 실험을 가능하게 하는 ImageNet-Captions를 도입하고, 이미지 분포가 자연스러운 시프트 전반에 걸친 로버스트니스의 주된 원인임을 보여줍니다.

ABSTRACT

Contrastively trained language-image models such as CLIP, ALIGN, and BASIC have demonstrated unprecedented robustness to multiple challenging natural distribution shifts. Since these language-image models differ from previous training approaches in several ways, an important question is what causes the large robustness gains. We answer this question via a systematic experimental investigation. Concretely, we study five different possible causes for the robustness gains: (i) the training set size, (ii) the training distribution, (iii) language supervision at training time, (iv) language supervision at test time, and (v) the contrastive loss function. Our experiments show that the more diverse training distribution is the main cause for the robustness gains, with the other factors contributing little to no robustness. Beyond our experimental results, we also introduce ImageNet-Captions, a version of ImageNet with original text annotations from Flickr, to enable further controlled experiments of language-image training.

연구 동기 및 목표

• 대조적으로 학습된 언어-이미지 모델(CLIP, ALIGN, BASIC)에서 로버스트니스에 잠재적으로 기여하는 요인을 식별한다.
• 로버스트니스에 대한 훈련 세트 크기, 훈련 분포, 훈련 시의 언어 감독, 테스트 시의 언어 감독 및 대조 손실의 영향을 정량화한다.
• 언어 효과를 데이터 분포 효과로부터 분리하기 위한 통제된 실험 프레임워크와 베이스라인을 제공한다.
• 제어된 언어-이미지 실험을 가능하게 하는 ImageNet-Captions를 도입하고 CLIP와 유사한 로버스트니스를 모방하는 더 간단한 베이스라인을 제시한다.

제안 방법

• 다섯 가지 후보 요인을 변화시키며 통제된 실험을 수행한다: 훈련 세트 크기, 훈련 분포, 훈련 시의 언어 감독, 테스트 시의 언어 감독(프롬프트), 그리고 대조 손실.
• 원래 Flickr 캡션이 포함된 ImageNet의 하위 집합인 ImageNet-Captions를 도입하여 표준 분류에 사용된 동일한 이미지에서 언어-이미지 학습을 가능하게 한다.
• 언어 없이 간단한 베이스라인을 만들기 위해 이미지에서 사전 학습한 뒤 텍스트 매치를 통해 ImageNet 클래스와 매칭하여 언어 효과를 분리한다.
• 관찰된 테스트 정확도와 인도-도메인 정확도에서 분포 외 정확도로의 매핑의 차이로 정의된 effective robustness로 로버스트니스를 평가한다.
• ImageNet-Captions에서 CLIP를 학습하고 ImageNet 및 자연 분포 시프트(ImageNet-V2, ImageNet-R, ImageNet-Sketch, ObjectNet, ImageNet-A)에 대한 이미지 전용 분류 베이스라인과 비교한다.
• YFCC-15M으로 실험하여 이미지-전용 사전 학습과 최소한의 텍스트 매칭이 CLIP와 유사한 로버스트니스에 도달할 수 있는지 테스트한다.

실험 결과

연구 질문

• RQ1 훈련 세트 크기를 단독으로 증가시키는 것이 CLIP-유사 모델의 effective robustness를 향상시키는가?
• RQ2 로버스트니스가 주로 훈련 분포 다양성에 의해 좌우되며 언어 감독이나 대조 손실보다 큰가?
• RQ3 훈련 시점 또는 테스트 시점의 언어 감독이 CLIP-유사 로버스트니스를 설명할 수 있는가, 아니면 분포 다양성이 주된 요인인가?
• RQ4 언어 없는 학습 패러다임(이미지만 포함하고 간단한 텍스트 매칭)을 통해 CLIP와 비슷한 effective robustness를 얻을 수 있는가?
• RQ5 테스트 시점의 프롬프트와 템플릿이 로버스트니스에 기여하는 역할은 무엇인가?

주요 결과

• 훈련 분포 다양성이 자연 분포 시프트 전반에서 CLIP-유사 로버스트니스의 주된 원인이다.
• 훈련 시점의 언어 감독은 학습 이미지가 표준 분류 데이터셋과 동일할 때 로버스트니스를 크게 증가시키지 않는다.
• 언어 감독은 주로 일관된 클래스 라벨이 필요 없도록 다양한 시각적 분포에서의 학습을 촉진한다.
• 이미지만 사용하는 간단한 사전 학습과 최소한의 텍스트 매칭은 여러 분포 시프트에서 CLIP의 로버스트니스를 따라갈 수 있으며, 이는 로버스트니스의 원인이 언어 감독이 아니라 데이터 분포임을 시사한다.
• ImageNet-Captions는 동일한 이미지에서 언어-이미지 학습과 순수 분류 학습 간의 제어된 비교를 가능하게 한다.
• 테스트 시점의 프롬프트 전략은 정확도와 로버스트니스를 바꿀 수 있지만, effective robustness의 변화는 프롬프트로부터의 본질적 로버스트니스 증가보다는 전반적 정확도 차이에 크게 좌우된다.