[논문 리뷰] Do Androids Laugh at Electric Sheep? Humor "Understanding" Benchmarks from The New Yorker Caption Contest

Jack Hessel, Ana Marasović외 6명|arXiv (Cornell University)|2022. 09. 13.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 뉴요커 컨테스트의 만화 캡션 대회를 활용하여 다중모odal 빈민 이해 벤치마크를 제안하며, 만화에 적합한 캡션 매칭, 캡션 품질 순위 매기기, 그리고 한 캡션이 유머스러운 이유를 설명하는 세 가지 과제를 제시한다. 최신의 다중모달 및 언어 모델을 사용함에도 불구하고 성능은 인간 수준에 크게 뒤져, 가장 우수한 모델이 매칭 과제에서 62%의 정확도를 기록한 반면 인간은 94%를 기록했고, GPT-4가 생성한 설명보다 인간이 작성한 설명이 66% 이상의 경우에서 선호되며, 인공지능의 유머 이해 능력에 있어 심각한 격차가 있음을 보여준다.

ABSTRACT

Large neural networks can now generate jokes, but do they really "understand" humor? We challenge AI models with three tasks derived from the New Yorker Cartoon Caption Contest: matching a joke to a cartoon, identifying a winning caption, and explaining why a winning caption is funny. These tasks encapsulate progressively more sophisticated aspects of "understanding" a cartoon; key elements are the complex, often surprising relationships between images and captions and the frequent inclusion of indirect and playful allusions to human experience and culture. We investigate both multimodal and language-only models: the former are challenged with the cartoon images directly, while the latter are given multifaceted descriptions of the visual scene to simulate human-level visual understanding. We find that both types of models struggle at all three tasks. For example, our best multimodal models fall 30 accuracy points behind human performance on the matching task, and, even when provided ground-truth visual scene descriptors, human-authored explanations are preferred head-to-head over the best machine-authored ones (few-shot GPT-4) in more than 2/3 of cases. We release models, code, leaderboard, and corpus, which includes newly-gathered annotations describing the image's locations/entities, what's unusual in the scene, and an explanation of the joke.

연구 동기 및 목표

• 대규모 인공지능 모델이 실제로 유머를 '이해'하고 있는지, 실제 세계적이고 문화적으로 뉘앙스가 있는 만화 캡션에 대해 테스트함으로써 평가하고자 한다.
• 뉴요커 만화 캡션 대회를 기반으로 하여 인간 유머의 복잡성을 반영하는 도전적이고 다면적인 벤치마크를 개발하고자 한다.
• 다중모달 및 언어 전용 모델이 유머러스한 이미지-캡션 쌍을 인식하고, 순위를 매기며, 설명하는 데 있어 가지는 한계를 탐구하고자 한다.
• 미래 연구를 지원하기 위해 시각적 설명, 이례적인 장면 요소, 농담 설명을 포함한 풍부하게 애너테이션된 코퍼스를 공개하고자 한다.
• 인공지능이 창의적 협업, 예를 들어 브레인스토밍 및 유머러스한 캡션 생성에 어떻게 활용될 수 있는지 탐색하고자 한다.

제안 방법

• 세 단계로 복잡도가 점차 증가하는 과제를 설정함: (1) 오락실에서의 캡션을 배제한 후, 해당 만화에 맞는 결승 진출 캡션을 매칭하는 것, (2) 동일한 만화에 대해 결승 진출 캡션을 비결승 진출 캡션보다 높게 순위 매기는 것, (3) 우승 캡션이 유머러스한 이유를 자유형 텍스트로 설명하는 것.
• 두 가지 평가 설정을 사용함: '픽셀에서' (모델이 원시 만화 이미지를 처리함)와 '설명에서' (모델이 인간이 애너테이션한 시각적 설명을 받음, 인간 수준의 시각 능력을 시뮬레이션함).
• 시각적 설명, 이례적인 요소, 농담 설명을 포함한 새로운 풍부하게 애너테이션된 데이터셋을 수집하였으며, 1,000개 이상의 만화에 대해 애너테이션을 수행함.
• 최신 기술의 모델들—다중모달 과제에 맞게 미세조정된 CLIP, 설명 생성에 적합한 few-shot GPT-4—를 벤치마크에서 평가함.
• 창의적 협업을 가능하게 하기 위해 특별히 설계된 프롬프트를 개발하여, 코퍼스를 재구성하여 AI 지원 브레인스토밍 및 캡션 생성을 지원함.
• 모델이 생성한 설명과 인간이 작성한 설명을 비교하기 위해 인간 평가를 실시하였으며, 이중 비교를 통해 선호도를 평가함.

실험 결과

연구 질문

• RQ1 다중모달 모델은 우승 캡션을 해당 만화 이미지에 정확히 매칭할 수 있는가?
• RQ2 동일한 만화에 대해 높은 품질의 캡션과 낮은 품질의 캡션을 모두 이미지에 맞추었을 때, 모델은 둘을 구별할 수 있는가?
• RQ3 언어 모델은 인간이 작성한 설명보다 선호되는 설명을 생성할 수 있는가?
• RQ4 인간 수준의 시각적 설명에 접근할 경우, 모델의 유머 이해 성능에 어떤 영향을 미치는가?
• RQ5 인공지능 모델은 얼마나 창의적 과정, 즉 유머러스한 만화 캡션 생성에 도움을 줄 수 있는가?

주요 결과

• '픽셀에서' 설정에서 가장 우수한 다중모달 모델(미세조정된 CLIP ViT-L/14)은 캡션 매칭 과제에서 62%의 정확도를 기록했고, 인간은 94%를 기록했다.
• 정답 시각적 설명이 제공된 상태에서도 가장 우수한 언어 모델(5-shot GPT-4)이 생성한 설명은 전체 사례의 1/3 이하에서 인간이 작성한 설명보다 선호되며, 설명 품질에 있어 심각한 격차가 있음을 시사한다.
• 이중 비교에서 인간 설명이 기계 생성 설명보다 66% 이상의 경우에서 선호되며, 현재 모델들이 인간 수준의 유머 이해 능력을 재현하지 못하고 있음을 입증한다.
• 이 성능 격차는 모든 세 과제에 걸쳐 지속되며, 뉴요커 스타일의 유머가 뒷받침하는 미묘하고 간접적이며 문화적으로 내재된 관계를 인공지능 모델이 여전히 이해하지 못하고 있음을 보여준다.
• 논문 제출 이후 언어 모델링 기술이 향상되었음에도 불구하고 성능 격차는 여전히 크며, 현재 모델들이 아직 유머의 깊은 메커니즘을 이해하지 못하고 있음을 시사한다.
• 캡콘.닷.엑스에 공개된 벤치마크(애너테이션, 모델, 코드, 랭킹표 포함)는 향후 인공지능의 유머 이해 연구를 발전시키는 데 있어 귀중한 자원이 된다.