[논문 리뷰] WinoGAViL: Gamified Association Benchmark to Challenge Vision-and-Language Models

Yonatan Bitton, Nitzan Bitton Guetta외 5명|arXiv (Cornell University)|2022. 07. 25.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 AI 모델이 어려워할 수 있지만 인간에게 직관적인 연관성을 요구하는 시각-언어 연관성 데이터를 수집하기 위해 'Codenames'를 영감으로 삼은 온라인 게임을 기반으로 한 게임화된 벤치마크인 WinoGAViL을 소개한다. 이 프레임워크는 인간이 90% 이상의 재현율을 보이는 3.5K개의 인스턴스를 수집하였으며, 최고의 모델(ViLT)은 단지 52%의 성능에 머물러 있어, 시각-언어 모델의 일반지식 및 연상적 추론 능력 향상의 필요성을 드러낸다.

ABSTRACT

While vision-and-language models perform well on tasks such as visual question answering, they struggle when it comes to basic human commonsense reasoning skills. In this work, we introduce WinoGAViL: an online game of vision-and-language associations (e.g., between werewolves and a full moon), used as a dynamic evaluation benchmark. Inspired by the popular card game Codenames, a spymaster gives a textual cue related to several visual candidates, and another player tries to identify them. Human players are rewarded for creating associations that are challenging for a rival AI model but still solvable by other human players. We use the game to collect 3.5K instances, finding that they are intuitive for humans (>90% Jaccard index) but challenging for state-of-the-art AI models, where the best model (ViLT) achieves a score of 52%, succeeding mostly where the cue is visually salient. Our analysis as well as the feedback we collect from players indicate that the collected associations require diverse reasoning skills, including general knowledge, common sense, abstraction, and more. We release the dataset, the code and the interactive game, allowing future data collection that can be used to develop models with better association abilities.

연구 동기 및 목표

• 객체 인식을 넘어서 일반지식 및 연상적 추론 능력을 평가할 수 있는 동적인 인간-중심 벤치마크를 개발한다.
• 시각적 두드러짐 외에도 일반 지식, 추상화 및 문화적 이해가 필요한 고품질의 다양한 연관성을 수집한다.
• 스파이마스터가 AI 모델을 어려워하게 하되 인간은 해결할 수 있는 조건을 만족시키는 게임 메커니즘을 활용해 확장 가능한 데이터 수집 프레임워크를 구축한다.
• 데이터셋, 코드 및 상호작용 가능한 게임을 공개하여 향후 다중모odal 일반지식 추론 연구를 지원한다.

제안 방법

• WinoGAViL 게임 프레임워크는 특정 이미지 세트에 대해 텍스트 촉진어를 생성하는 스파이마스터 역할을 통해 작동하며, 이는 경쟁 AI 모델을 혼란스럽게 하되 인간은 해결할 수 있도록 설계된다.
• 스파이마스터는 AI 모델(예: CLIP RN50)의 성능이 낮을수록 보상을 받도록 설계되어, 비직관적인 연관성을 유도하도록 유도된다.
• 세 명의 인간 해결자가 촉진어를 바탕으로 정답 이미지를 추론하고, 스파이마스터는 인간의 성능에 따라 보상을 받는다. 이는 자연스럽고 직관적인 연관성을 보장한다.
• 데이터셋은 게임 인터페이스를 통해 커뮤니티 작업자들을 통해 수집되었으며, 여러 이미지 세트와 촉진어 유형을 포함해 총 3.5K개의 인스턴스가 확보되었다.
• 벤치마크는 Jaccard 지수를 사용해 성능을 측정하며, 높은 점수는 예측된 이미지 선택과 정답 간의 일치도를 의미한다.
• SWOW라는 수작업으로 작성된 텍스트 연관성 자료를 사용한 베이스라인과의 비교를 통해, 게임화된 데이터가 AI 모델에 더 도전적인가를 입증한다.

실험 결과

연구 질문

• RQ1 게임화된 데이터 수집 프레임워크는 인간에게 직관적이지만 최첨단 AI 모델에겐 어려운 시각-언어 연관성을 생성할 수 있는가?
• RQ2 수집된 연관성이 주로 요구하는 추론 유형은 일반지식, 추상화, 문화적 지식 중 어떤 것인가?
• RQ3 WinoGAViL에서의 시각-언어 모델 성능은 표준 벤치마크나 다른 데이터 수집 방법에 비해 어떻게 비교되는가?
• RQ4 WinoGAViL에서의 모델 실패 원인은 시각적 두드러짐 부족 때문인지, 아니면 일반지식 추론 능력의 근본적 결함 때문인가?

주요 결과

• WinoGAViL 벤치마크에서 인간의 성능은 90% 이상의 Jaccard 지수를 기록하여 수집된 연관성이 인간에게 매우 직관적임을 시사한다.
• 가장 뛰어난 성능을 보인 시각-언어 모델인 ViLT는 단지 52%의 Jaccard 점수를 기록하여, 이 벤치마크가 최첨단 모델을 효과적으로 도전한다는 점을 입증한다.
• 모델의 성능은 촉진어가 시각적으로 두드러질수록 높아지며, 이는 현재의 모델들이 깊은 의미적 또는 일반지식 기반 추론보다는 주로 시각적 자극에 의존하고 있음을 시사한다.
• 게임화된 데이터 수집 방식은 SWOW라는 수작업 텍스트 연관성 자료를 사용한 베이스라인보다 AI 모델에게 훨씬 더 도전적인 연관성을 생성한다.
• 분석 결과, 98%의 스파이마스터가 동일한 이미지 세트에 대해 서로 다른 촉진어를 생성하여 연관성 생성의 높은 다양성을 보였다.
• 데이터셋은 88%의 촉진어에서 OOV(Out-of-Vocabulary) 단어가 없었으며, 이는 데이터 수집 과정에서 강한 어휘 커버리지와 낮은 노이즈를 의미한다.