[논문 리뷰] Revisiting the Role of Language Priors in Vision-Language Models

Zhiqiu Lin, Xinyue Chen외 3명|arXiv (Cornell University)|2023. 06. 02.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 이미지를 기반으로 주어진 텍스트를 생성하는 데 사용되는 시각-언어 모델의 조건부 확률을 활용하여 이미지-텍스트 검색을 평가하는 zero-shot, 훈련 불필요한 방법인 VisualGPTScore를 제안한다. 테스트 시점에 텍스트 분포를 추정하여 베이즈 재가중을 통해 언어 사전 편향을 보정함으로써, Winoground 및 EqBen와 같은 도전적인 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 단일 시각-언어 모델 체크포인트만을 사용하여 복잡한 LLM 보강 기반 보다도 뛰어난 성능을 내는 것으로, 추가 훈련이 필요하지 않다.

ABSTRACT

Vision-language models (VLMs) are impactful in part because they can be applied to a variety of visual understanding tasks in a zero-shot fashion, without any fine-tuning. We study $ extit{generative VLMs}$ that are trained for next-word generation given an image. We explore their zero-shot performance on the illustrative task of image-text retrieval across 8 popular vision-language benchmarks. Our first observation is that they can be repurposed for discriminative tasks (such as image-text retrieval) by simply computing the match score of generating a particular text string given an image. We call this probabilistic score the $ extit{Visual Generative Pre-Training Score}$ (VisualGPTScore). While the VisualGPTScore produces near-perfect accuracy on some retrieval benchmarks, it yields poor accuracy on others. We analyze this behavior through a probabilistic lens, pointing out that some benchmarks inadvertently capture unnatural language distributions by creating adversarial but unlikely text captions. In fact, we demonstrate that even a "blind" language model that ignores any image evidence can sometimes outperform all prior art, reminiscent of similar challenges faced by the visual-question answering (VQA) community many years ago. We derive a probabilistic post-processing scheme that controls for the amount of linguistic bias in generative VLMs at test time without having to retrain or fine-tune the model. We show that the VisualGPTScore, when appropriately debiased, is a strong zero-shot baseline for vision-language understanding, oftentimes producing state-of-the-art accuracy.

연구 동기 및 목표

• 생성형 시각-언어 모델이 이미지-텍스트 검색과 같은 분류 작업에 강력한 zero-shot 기준이 될 수 있는지 조사하기 위해.
• 기존의 시각-언어 벤치마크에서 다양한 모델 간 성능이 일관되지 않은 이유, 특히 언어 사전 편향으로 인한 원인 분석을 위해.
• 사전 훈련 시점과 테스트 시점의 텍스트 분포 간 분포 이탈을 보정하기 위한 훈련 불필요한 테스트 시점 편향 제거 방법 개발을 위해.
• VisualGPTScore가 편향 제거된 후, 다양한 벤치마크에서 최신 기술 수준의 zero-shot 성능을 달성하며, 복잡한 LLM 보강 방법을 초월함을 입증하기 위해.

제안 방법

• 이 방법은 VisualGPTScore를 P(text|image)로 계산하며, 이는 생성형 VLM가 주어진 이미지에서 특정 텍스트를 생성할 확률로, zero-shot 이미지-텍스트 매칭을 가능하게 한다.
• 테스트 시점의 텍스트 분포 추정치를 활용한 베이즈 요인 Ptest(text)/Ptrain(text)를 사용하여 확률적 편향 제거 기법을 도입함으로써, 추론 시점에서 언어 사전 편향을 완화한다.
• 편향 제거 과정은 단일 노이즈 이미지를 사용하여 Ptest(text)를 샘플링을 통해 추정함으로써, 재학습 없이도 효율적인 테스트 시점 적응을 가능하게 한다.
• LLaVA-1.5와 같은 최신 VLM에 적용되며, 추가 미세조정 없이도 작동하며, 모든 순차적 생성형 VLM와 호환 가능하다.
• 공개 모델 체크포인트를 사용하여 공정한 조건에서 9개의 벤치마크에 대해 평가된다.

실험 결과

연구 질문

• RQ1 생성형 VLM의 다음 토큰 예측 확률이 이미지-텍스트 검색에 대한 효과적인 zero-shot 점수로 기능할 수 있는가?
• RQ2 강력한 생성형 VLM가 존재함에도 불구하고 일부 시각-언어 벤치마크에서 성능이 열악한 이유는 무엇인가?
• RQ3 사전 훈련 데이터의 언어 사전 편향이 특정 벤치마크에서 검색 성능을 잘못 이끌어내는 정도는 어느 정도인가?
• RQ4 재학습이나 미세조정 없이도 테스트 시점에 언어 사전 편향을 보정할 수 있는가?
• RQ5 VisualGPTScore의 편향 제거가 다양한 벤치마크에서 일관된 성능 향상으로 이어지는가?

주요 결과

• VisualGPTScore는 ARO-Flickr에서 거의 완벽한 정확도를 달성하여, 부적절한 음성 캡션을 포함한 벤치마크에서 강력한 zero-shot 성능을 보여준다.
• Winoground 및 EqBen에서, 편향 제거되지 않은 VisualGPTScore(α=0)는 각각 36.3% 및 25.7%의 텍스트 검색 정확도를 기록하며, CLIPScore 및 LLM 보강 기반 베이스라인을 초월한다.
• α=1(단일 노이즈 이미지 사용)로 편향 제거를 수행한 결과, Winoground에서는 44.3%, EqBen에서는 42.9%로 성능 향상이 이루어져 최신 기술 수준 성능을 달성한다.
• 이미지 입력을 무시하는 블라인드 언어 모델조차도 자연스럽지 않은 캡션을 포함한 벤치마크에서는 VLM를 초월할 수 있음을 보여주며, 언어적 편향의 존재를 시사한다.
• 편향 제거된 VisualGPTScore는 다양한 벤치마크에서 그룹 점수를 일관되게 향상시키며, 분포 이탈에 대한 강건성을 보여준다.
• 복잡한 LLM 보강 방법인 VPEval 및 LLMScore를 뛰어넘는 성능을 보이며, 추가 미세조정 없이 단일 VLM 체크포인트만을 사용한다.