[논문 리뷰] Improved Probabilistic Image-Text Representations

Sanghyuk Chun|arXiv (Cornell University)|2023. 05. 29.

Image Retrieval and Classification Techniques인용 수 6

한 줄 요약

이 논문은 Monte Carlo 근사 대신 닫힌 형태의 확률적 거리로 대체함으로써 효율적이고 정확한 추론을 가능하게 하는 개선된 확률적 이미지-텍스트 매칭 프레임워크인 PCME++를 제안한다. 허위 양성 사례가 많은 환경에서의 손실 포화 문제를 완화하기 위해 가짜 양성 예측과 혼합 샘플 데이터 증강을 도입함으로써, MS-COCO, CxC, ECCV Caption 벤치마크에서 최신 기준 성능을 달성하며, 노이즈가 많은 애너테이션에 대해 강건하고 제로샷 프롬프트 튜닝에 적용 가능한 특성을 보인다.

ABSTRACT

Image-Text Matching (ITM) task, a fundamental vision-language (VL) task, suffers from the inherent ambiguity arising from multiplicity and imperfect annotations. Deterministic functions are not sufficiently powerful to capture ambiguity, prompting the exploration of probabilistic embeddings to tackle the challenge. However, the existing probabilistic ITM approach encounters two key shortcomings; the burden of heavy computations due to the Monte Carlo approximation, and the loss saturation issue in the face of abundant false negatives. To overcome the issues, this paper presents an improved Probabilistic Cross-Modal Embeddings (named PCME++) by introducing a new probabilistic distance with a closed-form solution. In addition, two optimization techniques are proposed to enhance PCME++ further: first, the incorporation of pseudo-positives to prevent the negative effect under massive false negatives; second, mixed sample data augmentation for probabilistic matching. Experimental results on MS-COCO Caption and two extended benchmarks, CxC and ECCV Caption, demonstrate the effectiveness of PCME++ compared to state-of-the-art ITM methods. The robustness of PCME++ is also evaluated under noisy image-text correspondences. In addition, the potential applicability of PCME++ in automatic prompt-filtering for zero-shot classification is shown. The code is available at https://github.com/naver-ai/pcmepp

연구 동기 및 목표

• MS-COCO와 같은 데이터셋에서 다对다 대응 관계와 희소한 애너테이션으로 인해 발생하는 이미지-텍스트 매칭의 본질적 모호성을 해결하기 위해.
• Monte Carlo 샘플링에 의존하는 기존의 확률적 ITM 방법(예: PCME)이 겪는 계산 비효율성과 손실 포화 문제를 극복하기 위해.
• 효율적인 추론과 근사 최근접 이웃 검색과의 통합을 가능하게 하는 닫힌 형태의 해를 가진 확장 가능한, 미분 가능한 확률적 거리 함수를 개발하기 위해.
• 가짜 양성 예측과 혼합 샘플 데이터 증강을 도입하여 노이즈가 많거나 불완전한 지도 하에서 모델의 일반화 성능을 향상시키기 위해.
• 불확실성 인식 표현이 자동 프롬프트 튜닝을 통한 제로샷 분류와 같은 후행 작업에서 효과적으로 활용될 수 있음을 입증하기 위해.

제안 방법

• 두 정규분포 간의 기대 L2 거리를 해석적으로 계산하는 닫힌 형태의 샘플드 거리(Closed-Form Sampled Distance, CSD)를 도입하여 Monte Carlo 샘플링이 필요 없도록 한다.
• CSD 기반의 새로운 목적 함수를 제안하여 정확한 기울기와 함께 엔드 투 엔드 학습을 가능하게 하고 계산 비용을 감소시킨다.
• 실제 데이터셋에서 흔한 허위 음성 예측으로 인한 기울기 포화 문제를 완화하기 위해 가짜 양성 예측을 통합한다.
• 확률적 매칭을 위한 다양한 실재성 있는 훈련 샘플을 생성하기 위해 혼합 샘플 데이터 증강(Mixed-Sample Data Augmentation, MSDA)을 적용하여 강건성을 향상시킨다.
• 닫힌 형태의 거리 특성을 활용하여 FAISS 기반의 효율적인 근사 최근접 이웃(ANN) 검색을 위한 확률적 임베딩 공간을 조정한다.
• 학습된 분포로부터 도출된 불확실성 추정치를 활용해 제로샷 분류에서 프롬프트 선택을 안내함으로써 제어 가능한 검색을 지원한다.

실험 결과

연구 질문

• RQ1 Monte Carlo 근사 대비 닫힌 형태의 확률적 거리 해법이 이미지-텍스트 매칭의 효율성과 정확도를 향상시키는가?
• RQ2 다량의 허위 음성 예측 상황에서 가짜 양성 예측의 도입이 확률적 ITM의 손실 포화 문제를 얼마나 효과적으로 완화하는가?
• RQ3 혼합 샘플 데이터 증강이 확률적 이미지-텍스트 표현의 일반화 능력을 어느 정도 향상시키는가?
• RQ4 PCME++에서 도출된 불확실성 인식 표현이 제로샷 분류에서 자동 프롬프트 튜닝에 효과적으로 활용될 수 있는가?
• RQ5 노이즈가 많거나 불완전한 이미지-텍스트 애너테이션에 대해 PCME++는 결정론적 및 기존의 확률적 기준 모델 대비 얼마나 강건한가?

주요 결과

• PCME++는 MS-COCO Caption 벤치마크에서 최신 기준 성능을 달성하며, 백본 크기가 증가할수록(예: ViT-L/14) 기존 최고 성능 모델 대비 일관된 향상을 보였다.
• 확장된 벤치마크인 CxC와 ECCV Caption에서 PCME++는 기존 방법들을 압도하며, 다양한 데이터 분포에 걸쳐 강력한 일반화 성능을 입증했다.
• 노이즈가 많은 이미지-텍스트 대응 관계에 대해 강건성을 유지하며, 정답 레이블이 손상되거나 불완전한 경우에도 높은 성능을 유지했다.
• 닫힌 형태의 거리 구조 덕분에 효율적인 추론이 가능했고, FAISS와의 통합을 통해 대규모 검색에 대한 확장성까지 확보했다.
• PCME++에서 도출된 불확실성 추정치는 높은 해석 가능성과 함께 제어 가능한 검색을 가능하게 하여, 저신뢰도 예측의 수동 거부를 지원했다.
• PCME++는 ImageNet에서 강력한 기준 모델인 InfoNCE와 VSE++를 능가하는 성능을 보이며 제로샷 이미지 분류에 효과적인 자동 프롬프트 튜닝을 가능하게 했다.