[논문 리뷰] Getting More Juice Out of Your Data: Hard Pair Refinement Enhances Visual-Language Models Without Extra Data

Haonan Wang, Minbin Huang외 8명|arXiv (Cornell University)|2023. 05. 09.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 CLIP 및 SLIP과 같은 사전 훈련된 시각-언어 모델을 원본 훈련 데이터에서 미네링한 하드 음성 샘플과 새로운 하드 음성 마진 손실(Hard Negative Margin Loss, HNML)을 활용하여 향상시키는 플러그 앤 플레이(fine-tuning) 방법인 Helip을 제안한다. 추가 데이터나 재훈련 없이도 Helip은 제로샷 ImageNet 정확도를 최대 10.14% 향상시키며, 선형 프로브 정확도는 최대 9.5% 향상시켜 다양한 벤치마크에서 일관된 성능 향상을 보여준다.

ABSTRACT

Contrastive Language-Image Pre-training (CLIP) has become the standard for cross-modal image-text representation learning. Improving CLIP typically requires additional data and retraining with new loss functions, but these demands raise resource and time costs, limiting practical use. In this work, we introduce HELIP, a cost-effective strategy that improves CLIP models by exploiting challenging text-image pairs within existing datasets in continuous training. This eliminates the need for additional data or extensive retraining. Moreover, HELIP integrates effortlessly into current training pipelines with minimal code modifications, allowing for quick and seamless implementation. On comprehensive benchmarks, HELIP consistently boosts existing models. In particular, within just two epochs of training, it improves zero-shot classification accuracy on ImageNet for SLIP models pre-trained on CC3M, CC12M, and YFCC15M datasets by 3.05%, 4.47%, and 10.1% , respectively. In addition, on fine-grained classification datasets, HELIP improves the zero-shot performance of CLIP and SLIP by an average of 8.4% and 18.6%, and their linear probe performance by an average of 9.5% and 3.0%. The code is publicly available at: https://github.com/haonan3/HELIP-NACCL-2025.git.

연구 동기 및 목표

• 재훈련이나 새로운 데이터 수집 없이 사전 훈련된 시각-언어 모델의 제로샷 및 검색 성능을 향상시키는 것.
• 제한된 배치 크기와 노이즈가 많은 웹 크롤링 데이터로 인해 배치 내 하드 음성 샘플 미네링이 비효율적이라는 문제를 해결하는 것.
• 기존 훈련 데이터만을 사용하여 저비용이며 일반화 가능한 파라미터 조정 전략을 개발하는 것.
• 하드 음성 샘플과 HNML을 통한 기하학적 정규화가 표현 품질을 크게 향상시킨다는 것을 검증하는 것.

제안 방법

• Helip는 대상 이미지-텍스트 쌍을 전체 데이터셋에 투영하여, 모odal별 표현(예: 시각용 ResNet50, 텍스트용 BERT)에서 높은 유사도를 가지는 쌍의 부분집합을 선택함으로써 하드 페어 미네이팅(Hard Pair Mining, HPM)을 수행한다.
• 선택된 부분집합은 대상 쌍에 대한 하드 음성 집합을 형성하며, 이는 의미적으로 가까운데도 양성 매칭이 아닌 고급 도전 과제를 제공한다.
• Helip는 표준 대비 손실과 함께 새로운 하드 음성 마진 손실(HNML)을 사용하여 사전 훈련된 모델을 미세조정한다. HNML은 하드 음성이 일반 음성보다 임베딩 공간에서 양성 쌍에 더 가까워지도록 강제한다.
• HNML은 하드 음성과의 거리가 일반 음성과의 거리보다 클 경우 모델을 페널티 처리함으로써 기하학적 구조를 도입하여 분류 능력을 향상시킨다.
• 성능을 유지하면서도 가속화를 위해 전체 데이터셋에서 고정 크기의 부분집합(예: 300만 또는 600만)을 샘플링하는 근사 HPM 변형을 사용한다.
• 이 프레임워크는 모델 아키텍처를 변경하지 않고 원본 훈련 데이터에서의 미세조정만으로 구현 가능한 플러그 앤 플레이 방식으로 구현된다.

실험 결과

연구 질문

• RQ1 원본 훈련 데이터에서 유도된 하드 음성 샘플이 추가 데이터 없이 사전 훈련된 시각-언어 모델의 제로샷 성능을 크게 향상시킬 수 있는가?
• RQ2 일반 음성과 하드 음성을 구분하는 마진 기반 손실을 통합하면 더 나은 표현 학습이 이루어지는가?
• RQ3 미세조정 이전에 글로벌하게 하드 페어를 사전에 미네이팅하는 이중 단계 접근 방식이 배치 내 미네이팅보다 효과적인가?
• RQ4 제안된 방법이 다양한 사전 훈련된 모델(예: CLIP, SLIP, DECLIP)과 데이터셋(예: CC3M, CC12M, YFCC15M)에 일반화되는가?
• RQ5 근사 HPM 전략은 성능을 유지하면서도 더 큰 데이터셋에 대해 확장 가능한가?

주요 결과

• CC3M에서 사전 훈련된 SLIP 모델의 제로샷 ImageNet 정확도를 3.05%p 향상시키고, CC12M에서 4.47%p 향상시켰다.
• CC3M에서 사전 훈련된 CLIP와 SLIP의 평균 제로샷 정확도는 각각 7개의 세밀한 분류 벤치마크에서 8.4%와 18.6% 향상되었다.
• 선형 프로브에서는 CC3M에서 사전 훈련된 CLIP와 SLIP의 평균 정확도가 각각 9.5%와 3.0% 향상되었다.
• 600만 부분집합을 사용한 근사 HPM 변형은 전체 HPM 방법과 0.6% 이내의 제로샷 성능을 달성하여 확장성과 효율성을 입증했다.
• HNML 손실은 클래스의 세분화가 높은 데이터셋(예: ImageNet, CIFAR-100)에서 성능을 향상시키지만, CIFAR-10에서는 약간의 성능 저하를 보여, 분류 능력의 상충 관계를 시사한다.
• 시각화 결과는 근사 HPM가 대상과 의미적으로 가까운 하드 샘플을 선택함을 확인하여, 미네이링된 음성 샘플의 품질을 검증한다.