[논문 리뷰] Seeing past words: Testing the cross-modal capabilities of pretrained V&L models on counting tasks

Letiția Pârcălăbescu, Albert Gatt외 2명|arXiv (Cornell University)|2020. 12. 22.

Multimodal Machine Learning Applications참고 문헌 35인용 수 20

한 줄 요약

이 논문은 이미지-문장 정렬 및 시각적 카운팅이라는 두 가지 작업에서 세 가지 사전 훈련된 시각-언어(V&L) 모델—ViLBERT, ViLBERT 12-in-1, LXMERT—의 다중모odal 추론 및 기반 능력을 평가한다. 정렬 작업에서는 뛰어난 성능을 보였지만, 카운팅 작업에서는 일반화에 실패하여 데이터셋 편향에 의존하고 엔티티 개별화 능력이 열악하여, 다중모달 사전 훈련에도 불구하고 기반 능력이 제한적임을 보여준다.

ABSTRACT

We investigate the reasoning ability of pretrained vision and language (V&L) models in two tasks that require multimodal integration: (1) discriminating a correct image-sentence pair from an incorrect one, and (2) counting entities in an image. We evaluate three pretrained V&L models on these tasks: ViLBERT, ViLBERT 12-in-1 and LXMERT, in zero-shot and finetuned settings. Our results show that models solve task (1) very well, as expected, since all models are pretrained on task (1). However, none of the pretrained V&L models is able to adequately solve task (2), our counting probe, and they cannot generalise to out-of-distribution quantities. We propose a number of explanations for these findings: LXMERT (and to some extent ViLBERT 12-in-1) show some evidence of catastrophic forgetting on task (1). Concerning our results on the counting probe, we find evidence that all models are impacted by dataset bias, and also fail to individuate entities in the visual input. While a selling point of pretrained V&L models is their ability to solve complex tasks, our findings suggest that understanding their reasoning and grounding capabilities requires more targeted investigations on specific phenomena.

연구 동기 및 목표

• 사전 훈련된 V&L 모델이 사전 훈련 작업을 초월해 정확한 다중모달 추론을 수행할 수 있는지 평가하는 것.
• 모델이 시각적 카운팅 작업에서 분포 외의 수량에 일반화할 수 있는지 조사하는 것.
• 다중모달 모델에서 데이터셋 편향과 엔티티 개별화 실패의 정도를 평가하는 것.
• 다중 작업 미세조정 이후 사전 훈련 작업에서 치명적인 기억 상실(catastrophic forgetting)이 발생하는지 여부를 검토하는 것.
• 일반적인 V&L 모델이 본질적으로 강력한 기반 및 추론 능력을 지닌다는 가정을 도전하는 것.

제안 방법

• 정렬 및 카운팅 능력을 평가하기 위해 악성 이미지-문장 쌍을 생성하는 포일링 전략을 사용한다.
• ViLBERT, ViLBERT 12-in-1, LXMERT의 세 모델을 이미지-문장 정렬 및 카운팅 작업에서 제로샷 및 미세조정 설정 모두에서 평가한다.
• 기반 및 카운팅 정확도를 테스트하기 위해 자연 이미지와 모호하지 않은 수치적 문장들을 사용해 카운팅 프로브를 구성한다.
• 모델이 잘못된 이미지-문장 쌍을 탐지하고, 이미지 내 엔티티의 수를 정확히 판단할 수 있는 능력을 평가한다.
• 정확도를 측정 기준으로 삼고, 무작위 기준과의 비교 및 실패 케이스 분석을 수행한다.
• 주의 패턴의 정성적 분석과 데이터셋 편향 악용 여부를 통해 모델 행동을 조사한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 V&L 모델은 제로샷 설정에서 잘못된 이미지-문장 정렬을 정확히 탐지할 수 있는가?
• RQ2 이들 모델은 작업 특화 미세조정 없이도 정확한 시각적 카운팅을 수행할 수 있는가?
• RQ3 이들 모델은 카운팅 작업에서 분포 외의 수량에 일반화하는가, 아니면 데이터셋 편향에 의존하는가?
• RQ4 다중 작업 미세조정 이후 모델에서 치명적인 기억 상실이 관찰되는가, 특히 이미지-문장 정렬 작업에서?
• RQ5 모델은 시각적 엔티티를 효과적으로 개별화하는가, 이는 정확한 카운팅의 전제 조건이다?

주요 결과

• 세 모델 모두 제로샷 설정에서 이미지-문장 정렬 작업에서 뛰어난 성능을 보이며, 이는 이들 모델이 이 작업에 대해 강력한 사전 훈련을 받았음을 확인한다.
• 모델 중 어느 것도 미세조정 후에도 의미 있는 성능을 내지 못했으며, 결과는 무작위 기준과 유사하다.
• 모델들은 특히 카운팅 작업에서 데이터셋 편향에 강하게 의존하며, 알려지지 않은 수량에 일반화하지 못함을 보여준다.
• LXMERT에서는 치명적인 기억 상실이 관찰되었고, ViLBERT 12-in-1에서도 그 정도는 약간이지만 동일한 현상이 나타났으며, 특히 다중 작업 미세조정 이후 정렬 작업에서 두드러진다.
• 모든 모델가 시각적 엔티티를 올바르게 개별화하지 못해 언어적 참조를 시각적 인스턴스에 정확히 기반시키는 데 근본적인 한계를 드러낸다.
• 다중모달 아키텍처와 사전 훈련에도 불구하고, 모델들은 특히 수치 추론에 있어 견고한 다중모달 기반 능력을 갖추지 못하고 있다.