[논문 리뷰] VLUE: A Multi-Task Benchmark for Evaluating Vision-Language Models

Wangchunshu Zhou, Yan Zeng외 2명|arXiv (Cornell University)|2022. 05. 30.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 일반화 능력과 효율성-성능 트레이드오프를 평가하기 위한 다중 작업 벤치마크인 VLUE를 소개한다. 다양한 문화권에서 수집한 이미지로 구성된 분포 외 테스트 세트를 포함하여 모델의 일반화 격차가 뚜렷하게 드러나며, 정확도 외에도 효율성 인식 평가가 더 나은 모델 트레이드오프를 드러내는 데 기여한다.

ABSTRACT

Recent advances in vision-language pre-training (VLP) have demonstrated impressive performance in a range of vision-language (VL) tasks. However, there exist several challenges for measuring the community's progress in building general multi-modal intelligence. First, most of the downstream VL datasets are annotated using raw images that are already seen during pre-training, which may result in an overestimation of current VLP models' generalization ability. Second, recent VLP work mainly focuses on absolute performance but overlooks the efficiency-performance trade-off, which is also an important indicator for measuring progress. To this end, we introduce the Vision-Language Understanding Evaluation (VLUE) benchmark, a multi-task multi-dimension benchmark for evaluating the generalization capabilities and the efficiency-performance trade-off (``Pareto SOTA'') of VLP models. We demonstrate that there is a sizable generalization gap for all VLP models when testing on out-of-distribution test sets annotated on images from a more diverse distribution that spreads across cultures. Moreover, we find that measuring the efficiency-performance trade-off of VLP models leads to complementary insights for several design choices of VLP. We release the VLUE benchmark to promote research on building vision-language models that generalize well to more diverse images and concepts unseen during pre-training, and are practical in terms of efficiency-performance trade-off.

연구 동기 및 목표

• COO/VG 데이터셋에서 도메인 내 평가로 인해 시각-언어 모델의 일반화 능력이 과대평가되는 문제를 해결하기 위해.
• 시각-언어 사전 학습에서 효율성-성능 트레이드오프를 측정하여 실용적인 모델 배포를 촉진하기 위해.
• 절대 성능 외의 다차원 기준으로 진행 상황을 추적할 수 있는 표준화된 벤치마크를 구축하기 위해.
• 공개 가능한 벤치마크와 분포 외 테스트 세트를 제공하여 강건하고 효율적인 시각-언어 모델에 대한 연구를 장려하기 위해.

제안 방법

• 모국어 사용자가 수집한 다양한 문화권에서의 이미지를 기반으로 한 MaRVL 데이터셋에서 새로운 분포 외(OOD) 테스트 세트를 애너테이션 처리하기 위해.
• 도메인 내 및 OOD 세트 간에 동일한 애너테이션 프로토콜을 유지하여 레이블 분포의 공정한 비교를 보장하기 위해.
• 이미지-텍스트 검색, VQA, 시각적 추론, 시각적 거시 등 네 가지 작업에서 7종의 대표적 시각-언어 모델을 벤치마킹하기 위해.
• 고정된 하드웨어 환경(1x V100 GPU, 배치 크기 1)에서 추론 시간을 측정하여 효율성-성능 트레이드오프를 평가하기 위해.
• 성능 및 추론 시간을 동시에 고려한 파레토 최적 해를 활용하여, 양쪽 차원에서 더 나은 성능을 보이는 모델을 식별하기 위해.
• 벤치마크, 데이터, 코드를 모두 공개하여 재현 가능성과 공동 연구 평가를 지원하기 위해.

실험 결과

연구 질문

• RQ1 다양한 문화권에서 수집한 분포 외 이미지에서 시각-언어 모델의 성능은 어떻게 되는가?
• RQ2 도메인 내 성능과 분포 외 일반화 성능 간의 상관관계는 어느 정도인가?
• RQ3 다양한 시각적 특징 추출 방법(객체 탐지 대비 비전 트랜스포머)이 효율성-성능 트레이드오프에 어떤 영향을 미치는가?
• RQ4 VLUE와 같은 다차원 벤치마크는 절대 성능 외의 더 세밀한 통찰을 드러낼 수 있는가?

주요 결과

• 모든 평가된 모델에서 분포 외 테스트 세트에서 뚜렷한 일반화 격차가 존재하여 분포 이탈에 대한 강건성이 떨어지는 것으로 나타났다.
• 도메인 내 성능과 OOD 성능 간 피어슨 상관계수는 0.75로 중간 정도의 관계를 보이며, 완전한 상관관계는 아님을 시사하여 OOD 평가의 필요성을 강조한다.
• 객체 탐지 특징에 의존하는 모델에 비해 비전 트랜스포머를 이미지 인코더로 사용하는 모델가 더 나은 효율성-성능 트레이드오프를 달성한다.
• VL-T5는 ALBEF에 비해 평균 추론 시간이 2.4배 길지만 성능는 근소하게 낮아, 효율성 인식 평가의 중요성을 입증한다.
• 이미지 캡션 생성 모델인 OFA 및 VL-T5는 OOD 세트에서 성능 저하가 심각하게 발생한다(예: CIDER 점수는 140.7에서 71.2로 감소), 이는 COCO 데이터셋 특화된 특징에 의존함을 시사한다.
• 벤치마크를 통해 성능과 효율성 양쪽에서 SOTA 모델를 초월하는 파레토 최적 모델가 존재함을 확인하여, 정확도 중심 평가의 지배적 지위에 도전한다.