[논문 리뷰] Breaking Common Sense: WHOOPS! A Vision-and-Language Benchmark of Synthetic and Compositional Images

Nitzan Bitton-Guetta, Yonatan Bitton외 5명|arXiv (Cornell University)|2023. 03. 13.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 Midjourney와 같은 텍스트-이미지 모델을 활용해 생성한 500개의 합성된, 일반적인 상식을 위반하는 이미지를 포함하는 비전-언어 벤치마크 WHOOPS!를 소개한다. 이는 설명 생성을 포함한 네 가지 과제에서 최신 모델을 평가하여 인간(95% 정확도)과 BLIP2-XXL(27%) 및 GPT-3(33%)와 같은 모델 간의 뚜렷한 성능 격차를 드러내며, 인공지능의 시각적 일반상식 추론 능력 향상의 필요성을 강조한다.

ABSTRACT

Weird, unusual, and uncanny images pique the curiosity of observers because they challenge commonsense. For example, an image released during the 2022 world cup depicts the famous soccer stars Lionel Messi and Cristiano Ronaldo playing chess, which playfully violates our expectation that their competition should occur on the football field. Humans can easily recognize and interpret these unconventional images, but can AI models do the same? We introduce WHOOPS!, a new dataset and benchmark for visual commonsense. The dataset is comprised of purposefully commonsense-defying images created by designers using publicly-available image generation tools like Midjourney. We consider several tasks posed over the dataset. In addition to image captioning, cross-modal matching, and visual question answering, we introduce a difficult explanation generation task, where models must identify and explain why a given image is unusual. Our results show that state-of-the-art models such as GPT3 and BLIP2 still lag behind human performance on WHOOPS!. We hope our dataset will inspire the development of AI models with stronger visual commonsense reasoning abilities. Data, models and code are available at the project website: whoops-benchmark.github.io

연구 동기 및 목표

• 객체 인식을 넘어서 시각적 일반상식 추론 능력을 시험할 수 있는 벤치마크를 개발하는 것.
• 물리적, 시간적, 생물학적, 문화적 규범을 위반하는 다양한 합성 이미지 데이터셋을 구축하는 것.
• 특히 설명 생성과 같은 새로운 과제에서 최신 비전-언어 모델의 성능을 평가하여 현재의 한계를 드러내는 것.
• 공개된 데이터셋, 코드, 랭킹을 제공하여 시각적 일반상식 추론 분야의 체계적 평가 및 발전을 지원하는 것.

제안 방법

• 디자이너들과 협력하여 Midjourney, DALL-E, Stable Diffusion 등의 텍스트-이미지 모델을 사용해 일반적인 장면을 수정함으로써 일반상식 위반을 유도하는 500개의 이국적인 이미지를 생성하였다.
• 각 이미지에 대해 이상한 이유를 설명하는 상세한 설명, 묘사적 캡션, 모호한 캡션, 시각적 질문-답변 쌍을 포함한 애너테이션을 수행하였다.
• 네 가지 벤치마크 과제를 정의하였다: (1) 설명 생성, (2) 이미지 캡션 작성, (3) 상세 캡션과 모호한 캡션 간의 다중모odal 매칭, (4) 시각적 질문-답변.
• 인간 평가와 유사한 정확도(81%)를 보이는 GPT-4 기반 자동 평가 지표를 도입하여 설명 생성 과제에 대해 평가하였다.
• BLIP2-XXL, OFA, CoCa, GPT-3 파이프라인 등의 모델을 대상으로 제로샷 및 지도학습 평가를 수행하였으며, 합성 이미지와 자연 이미지 간의 비교를 실시하였다.
• 모델 성능에 영향을 미치는 '이상함'의 영향을 분리하기 위해 (자연 이미지, 정상 이미지, 이상 이미지)로 구성된 대조 셋을 수집하였다.

실험 결과

연구 질문

• RQ1 최신 비전-언어 모델은 이미지가 일반상식을 위반하는 이유를 타당한 설명으로 생성할 수 있는가?
• RQ2 일반상식 위반 이미지에서 설명 생성 과제에서 모델의 성능은 인간의 성능과 비교해 어떻게 되는가?
• RQ3 WHOOPS!의 어려움은 이미지 합성 기법에서 기인하는가, 아니면 이미지 내부의 본질적인 이상함과 구성 불일치에서 기인하는가?
• RQ4 시간적, 생물학적, 물리적 등 일반상식 위반 유형 중에서 현재 모델이 가장 어려워하는 유형은 무엇인가?
• RQ5 설명 생성을 위한 자동 평가 지표는 인간의 판단을 신뢰성 있게 반영할 수 있는가?

주요 결과

• 설명 생성 과제에서 인간의 정확도는 95%에 달했지만, 최고 성능 모델인 미세조정된 BLIP2-XXL는 단지 27%의 수용성에 머물렀으며, 이는 시각적 일반상식 추론 능력에 뚜렷한 격차가 있음을 시사한다.
• GPT-4 기반 자동 평가 지표는 인간 평가와 81%의 정확도로 일치하여 신뢰할 수 있는 자동 벤치마크 평가를 가능하게 하였다.
• 정답 이미지 설명(오라클 입력)이 제공된 상태에서도 모델의 정확도는 68%에 머물렀으며, 이는 문제의 핵심이 캡션 작성보다 추론 능력의 부족에 있음을 증명한다.
• 모델 성능은 일반상식 카테고리에 따라 크게 달라졌으며, BLIP2-XXL와 GPT-3 파이프라인 모두 시간적 불일치와 예술 지식 위반 유형에서 가장 어려움을 겪었다.
• 이미지 캡션 작성 정확도는 자연 이미지 및 정상 이미지에서 89%에서 이상 이미지에서는 49%로 떨어졌으며, 이는 어려움의 근본 원인이 합성 기법이 아니라 '이상함'임을 확인한다.
• GPT-3 파이프라인은 예측 캡션을 기반으로 중간 출력을 활용하는 방식으로 엔드 투 엔드 BLIP2-XXL보다 46%의 일반상식 카테고리에서 더 높은 성능을 보였으며, 이는 대규모 언어 모델이 중간 출력을 안내로 삼을 경우 시각적 불일치를 더 잘 추론할 수 있음을 시사한다.