[논문 리뷰] Data Efficient Language-supervised Zero-shot Recognition with Optimal Transport Distillation

BoRui Wu, Ruizhe Cheng외 4명|arXiv (Cornell University)|2021. 12. 17.

Multimodal Machine Learning Applications인용 수 14

한 줄 요약

OTTER는 대량의 노이즈가 있는 이미지-텍스트 데이터셋에서의 데이터 비효율성을 해결하기 위해 최적 운반 이론을 활용한 디스틸레이션을 제안함으로써, 딱딱한 레이블에 의존하는 대신 소프트하고 다对다 이미지-텍스트 매칭을 모델링함으로써 대비 학습을 향상시키는 데이터 효율적인 제로샷 인식 방법을 개발함. 300만 장의 이미지-텍스트 쌍으로만 훈련된 OTTER는 42개의 평가에서 InfoNCE, 레이블 스무딩, 지식 디스틸레이션을 모두 능가하며, 구글 오픈 이미지 및 ImageNet 10K에서 최신 기술 수준을 달성하여 FH@10에서 최대 6.6점 향상됨.

ABSTRACT

Traditional computer vision models are trained to predict a fixed set of predefined categories. Recently, natural language has been shown to be a broader and richer source of supervision that provides finer descriptions to visual concepts than supervised "gold" labels. Previous works, such as CLIP, use InfoNCE loss to train a model to predict the pairing between images and text captions. CLIP, however, is data hungry and requires more than 400M image-text pairs for training. The inefficiency can be partially attributed to the fact that the image-text pairs are noisy. To address this, we propose OTTER (Optimal TransporT distillation for Efficient zero-shot Recognition), which uses online entropic optimal transport to find a soft image-text match as labels for contrastive learning. Based on pretrained image and text encoders, models trained with OTTER achieve strong performance with only 3M image text pairs. Compared with InfoNCE loss, label smoothing, and knowledge distillation, OTTER consistently outperforms these baselines in zero shot evaluation on Google Open Images (19,958 classes) and multi-labeled ImageNet 10K (10032 classes) from Tencent ML-Images. Over 42 evaluations on 7 different dataset/architecture settings x 6 metrics, OTTER outperforms (32) or ties (2) all baselines in 34 of them.

연구 동기 및 목표

• 대규모 노이즈가 있는 이미지-텍스트 데이터셋에서 훈련할 경우 발생하는 대비 학습의 데이터 비효율성 문제를 해결하기 위해.
• 딱딱한 진실 레이블이 아닌 소프트하고 다대다 이미지-텍스트 매칭 관계를 모델링하여 성능을 향상시키기 위해.
• CLIP가 사용하는 4억 개의 쌍과 같은 거대한 데이터셋에 의존하는 것을 줄이고, 작은 노이즈가 있는 데이터에서 최적 운반 이론을 활용해 훈련 신호를 정교화하기 위해.
• 엔트로피 최적 운반 이론을 사용해 쌍이 없는 이미지와 캡션 간에 확률적 매칭을 부여함으로써 제로샷 일반화 능력을 향상시키기 위해.
• 최소한의 데이터로 최신 기술 수준의 성능를 달성하면서도 다양한 벤치마크에서 강력한 일반화 능력을 유지하기 위해.

제안 방법

• OTTER는 이미지, 텍스트, 교차 모odal 유사도로 구성된 유사도 행렬을 사용하여 이미지와 캡션 간의 쌍별 매칭 점수를 모델링함.
• 엔트로피 정규화된 최적 운반 이론을 적용하여 배치 내 모든 이미지-텍스트 쌍에 대해 소프트하고 미분 가능한 매칭 확률을 계산함으로써 다대다 관계를 포착함.
• 최적 운반 이론의 해를 가짜 레이블로 사용하는 온도 소프트닝된 대비 손실을 도입하여 딱딱한 진실 레이블 쌍에 의존하지 않음.
• 훈련 안정성 향상과 일반화 능력 향상을 위해 이미지 및 텍스트 인코더의 지수 이동 평균(EMA)을 활용함.
• 최적 운반 이론 매칭 확률과 대비 목표함수를 결합하여 이미지 및 텍스트 표현을 동시에 최적화함.
• 프레임워크는 CLIP에 비해 훨씬 낮은 데이터 요구량을 충족시키기 위해 오직 300만 개의 이미지-텍스트 쌍으로만 엔드 투 엔드로 훈련됨.

실험 결과

연구 질문

• RQ1 최적 운반 이론을 사용해 배치 내에서 소프트하고 다대다 이미지-텍스트 매칭을 모델링하여 대비 학습을 향상시킬 수 있는가?
• RQ2 최적 운반 이론에서 유도된 확률적 매칭으로 딱딱한 진실 레이블을 대체하면 제로샷 인식에서 데이터 효율성이 향상되는가?
• RQ3 다양한 벤치마크에서 InfoNCE, 레이블 스무딩, 지식 디스틸레이션과 비교할 때 OTTER의 제로샷 일반화 능력은 어떠한가?
• RQ4 유사도 행렬 구성과 EMA가 모델 안정성과 성능에 기여하는 정도는 어떠한가?
• RQ5 오직 300만 개의 이미지-텍스트 쌍으로 훈련된 모델이 CLIP(4억 개의 쌍 사용)와 비교해도 성능가능하거나 이를 초월할 수 있는가?

주요 결과

• OTTER는 구글 오픈 이미지 및 ImageNet 10K에서 42개 평가 중 32개에서 InfoNCE, 레이블 스무딩, 지식 디스틸레이션을 모두 능가함.
• 구글 오픈 이미지 테스트 세트에서 OTTER로 훈련된 ResNet50은 CLIP-RN50보다 FH@1에서 2.6점, FH@10에서 6.6점 높은 성능을 기록함.
• OTTER로 훈련된 ResNet50(2560만 파라미터)는 동일한 설정에서 InfoNCE로 훈련된 더 넓은 Wide ResNet50x2(6840만 파라미터)를 능가함.
• ImageNet 21K+1K에서 OTTER는 FH@10 14.3%를 기록하며 이전 최신 기술 수준인 HZSL보다 상대적으로 68% 향상됨.
• 제거 실험 결과, 이미지 또는 텍스트 유사도 구성 요소를 제거하거나 EMA를 비활성화하면 FH@K=1에서 최대 4.9점의 성능 저하가 발생함.
• 시각화 결과, OTTER는 InfoNCE가 음성으로 간주하는 의미 있는 쌍이 아닌 이미지-텍스트 매칭을 식별함으로써 미세한 의미적 정렬을 포착할 수 있음을 확인함.