[논문 리뷰] Probing Image-Language Transformers for Verb Understanding

Lisa Anne Hendricks, Aida Nematzadeh|arXiv (Cornell University)|2021. 06. 16.

Multimodal Machine Learning Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 이미지-문장 쌍 48,000개로 구성된 SVO-Probes를 소개하며, 주어, 동사, 목적어에 대해 통제된 음성 예제를 포함하여 이미지-언어 트랜스포머에서 동사 이해 능력을 평가하기 위한 벤치마크를 제공한다. 강력한 최종 성능에도 불구하고 모델들은 대부분 동사 불일치 케이스에서 실패하며, 의미적으로 관련이 없는 쌍조차도 일치로 과도하게 예측하고, 더러운 Conceptual Captions 사전학습 데이터에서보다 깔끔한 MSCOCO 데이터에서 성능이 떨어지는 것으로 나타나, 동사 수준의 다중모odal 이해에 있어 심각한 격차가 있음을 드러낸다.

ABSTRACT

Multimodal image-language transformers have achieved impressive results on a variety of tasks that rely on fine-tuning (e.g., visual question answering and image retrieval). We are interested in shedding light on the quality of their pretrained representations -- in particular, if these models can distinguish different types of verbs or if they rely solely on nouns in a given sentence. To do so, we collect a dataset of image-sentence pairs (in English) consisting of 421 verbs that are either visual or commonly found in the pretraining data (i.e., the Conceptual Captions dataset). We use this dataset to evaluate pretrained image-language transformers and find that they fail more in situations that require verb understanding compared to other parts of speech. We also investigate what category of verbs are particularly challenging.

연구 동기 및 목표

• 이미지-언어 트랜스포머가 다중모달 맥락에서 특히 동사와 같은 미세한 언어적 차이를 구분할 수 있는지 조사하기 위해.
• 모델이 언어적 사전 지식에 의존하는지 아니면 동사와 이미지 간의 의미 관계를 진정으로 이해하는지 평가하기 위해.
• 사전학습 데이터 품질(노이즈 있는 vs. 깨끗한)이 시각-언어 모델의 동사 이해에 미치는 영향을 비교하기 위해.
• 현재 모델이 가장 어려워하는 동사 유형을 특정하기 위해.

제안 방법

• 주어, 동사, 목적어에 대해 주석이 달린 48,100개의 이미지-문장 쌍을 포함한 새로운 벤치마크인 SVO-Probes를 구축하였으며, 주어, 동사, 목적어 중 하나만 다른 통제된 음성 예제를 포함하였다.
• 각 음성 예제가 오직 한 가지 요소(예: 동사)만 다를 수 있도록 이미지-문장 쌍을 설계하여 모델 이해도를 정밀하게 탐사할 수 있도록 하였다.
• 사전학습된 가중치를 사용하여 다수의 이미지-언어 트랜스포머 아키텍처(예: MMT)를 제로샷 설정에서 평가하여 이미지-문장 쌍 일치 여부를 분류하도록 하였다.
• 노이즈가 많은 Conceptual Captions(300만 쌍)과 더 깔끔하고 수동으로 주석이 달린 MSCOCO(12만 쌍) 두 사전학습 데이터셋에서 미세조정된 모델을 비교하였다.
• 주어, 동사, 목적어 음성 예제에 대한 분류 정확도를 분석하여 성능 차이를 고립시키는 아블레이션 연구를 수행하였다.
• 147개의 고빈도 동사(30개 이상의 음성 예제 보유)에 대해 음성 쌍 정확도를 측정하여 어려운 동사와 쉬운 동사를 식별하였다.

실험 결과

연구 질문

• RQ1 이미지-언어 트랜스포머는 오직 동사만 다른 이미지-문장 쌍을 정확히 구분할 수 있는가, 이는 진정으로 동사 이해를 의미하는가?
• RQ2 더 큰 크기이지만 더 노이즈가 많은 데이터셋(Conceptual Captions)에서 사전학습한 모델이 더 작은, 더 깨끗한 데이터셋(MSCOCO)에서 사전학습한 모델보다 동사 이해 능력이 떨어지는가?
• RQ3 의미적으로 유사하지만 잘못된 이미지-문장 쌍, 특히 동사가 잘못된 경우에 모델이 일치를 과도하게 예측하는가?
• RQ4 어느 동사 유형이 모델이 가장 어려워하는가? 어떤 특성이 이를 어렵게 만드는가?
• RQ5 기존 데이터셋(imSitu 등)에서 '시각적'으로 간주되는 동사들이 이 벤치마크에서 더 잘 성과를 내는가?

주요 결과

• 이미지-언어 트랜스포머는 동사 관련 음성 예제에서 가장 낮은 성능을 보이며, 음성 쌍 정확도가 단지 39.5%에 불과하여 주어(52.4%)와 목적어(73.4%)보다 유의미하게 낮다.
• Conceptual Captions(CC)에서 학습한 모델은 SVO-Probes에서 총 정확도 64.3%를 기록하였고, MSCOCO에서 학습한 모델은 68.0%를 기록하였다. MSCOCO는 더 작고 다양성이 떨어지지만 성능이 높았다.
• MSCOCO에서 학습한 MMT 모델은 음성 쌍 분류에서 CC 사전학습 모델을 능가하며, 특히 동사에 대해 더 높은 성능을 보였다. 이는 더 깨끗한 데이터에서 더 나은 의미 불일치 감지 능력을 얻는다는 것을 시사한다.
• 모델은 오직 약간 관련된 이미지-문장 쌍에 대해서도 일치를 과도하게 예측하는 경향이 있어, 동사가 일치하지 않더라도 의미적으로 타당한 쌍을 연결하는 경향이 있음을 보여준다.
• '자르다', '논의하다', '부수다'와 같은 동사는 가장 어려운 분류 과제를 안고 있으며, 반면 '도전하다', '이끌다', '둘러싸다'는 더 쉽게 분류된다. 이는 의미적 및 지각적 복잡성이 모델 성능에 영향을 준다는 것을 시사한다.
• 기대와는 다르게, imSitu 데이터셋에서 '시각적'으로 간주되는 동사들이 이 벤치마크에서 비시각적 동사보다 더 어려운 분류 과제를 안고 있으며, 이는 시각성 자체가 모델 성능을 예측할 수 없다는 것을 시사한다.