[논문 리뷰] MEWL: Few-shot multimodal word learning with referential uncertainty

Guangyuan Jiang, Manjie Xu외 5명|arXiv (Cornell University)|2023. 06. 01.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 인간 어린이의 빠른 맵핑 능력에 영감을 받아, 참조 불확실성 하에서 소수의 예시를 통한 다중모odal 단어 학습을 평가하기 위한 새로운 벤치마크인 MEWL을 소개한다. 이는 핵심 인지 메커니즘—교차 상황 추론, 기반 형성, 그리고 의사소통적 추론—을 반영한 아홉 가지 작업을 통해 다중모달 및 단일모달 모델을 평가하며, 인간과 현재 모델 간에 뚜렷한 성능 격차가 있음을 드러내며, 특히 관계어 및 수어 학습에서 두드러진다.

ABSTRACT

Without explicit feedback, humans can rapidly learn the meaning of words. Children can acquire a new word after just a few passive exposures, a process known as fast mapping. This word learning capability is believed to be the most fundamental building block of multimodal understanding and reasoning. Despite recent advancements in multimodal learning, a systematic and rigorous evaluation is still missing for human-like word learning in machines. To fill in this gap, we introduce the MachinE Word Learning (MEWL) benchmark to assess how machines learn word meaning in grounded visual scenes. MEWL covers human's core cognitive toolkits in word learning: cross-situational reasoning, bootstrapping, and pragmatic learning. Specifically, MEWL is a few-shot benchmark suite consisting of nine tasks for probing various word learning capabilities. These tasks are carefully designed to be aligned with the children's core abilities in word learning and echo the theories in the developmental literature. By evaluating multimodal and unimodal agents' performance with a comparative analysis of human performance, we notice a sharp divergence in human and machine word learning. We further discuss these differences between humans and machines and call for human-like few-shot word learning in machines.

연구 동기 및 목표

• 기계에서 인간처럼 소수의 예시를 통한 단어 학습을 체계적이고 발달적 기반을 가진 평가가 부족한 문제를 해결하기 위해.
• 교차 상황 추론, 기반 형성, 의사소통적 추론 등 인간의 단어 학습에서 핵심적인 인지 메커니즘을 반영한 벤치마크를 설계하기 위해.
• 최소한의 혼란스러운 시각-언어적 맥락에서 단어 의미를 학습할 수 있는 능력을 다중모달 및 단일모달 모델이 얼마나 잘 수행하는지 평가하기 위해.
• 기계의 성능를 동일한 작업에서 인간의 성능와 직접 비교함으로써 현재 학습 체계의 근본적인 격차를 드러내기 위해.
• 심리학적으로 정보를 얻은 학습 벤치마크를 통해 어린이처럼 불확실성 속에서 단어를 배우는 기계를 구축하기 위한 향후 연구를 촉진하기 위해.

제안 방법

• MEWL은 참조 불확실성을 제어할 수 있는 다양한 시각적 장면을 생성하기 위해 CLEVR 환경 내에서 구축된다.
• 각 작업은 여섯 개의 맥락 이미지와 새로운 어휘(예: 초록색 실린더에 대해 'daxy')를 포함한 언어적 표현을 제시하며, 에이전트는 질의 이미지에서 정확한 참조 대상을 식별해야 한다.
• 기본 속성 명명, 관계어 학습, 수어 학습, 의사소통적 단어 학습을 탐색하기 위해 아홉 가지 별도의 작업이 설계되었다.
• 벤치마크는 소수의 예시 학습을 강제로 적용하여 어린이가 단어-참조 쌍을 수동으로 교차 상황에서 노출하는 것과 유사하게 한다.
• 모델들은 참조 불확실성 속에서도 공시 패턴과 맥락적 신호를 바탕으로 단어 의미를 추론할 수 있는 능력을 평가한다.
• 성능 기준선을 확보하기 위해 인간 참가자를 모집하여 기계 모델과의 직접적인 비교를 가능하게 한다.

Figure 1 : Illustration of few-shot word learning. Children can acquire a novel word after only few exposures using cross-situational information, even with referential uncertainty. In this example, a child induces that daxy refers to the color green and hally magenta , all from the experience of a

실험 결과

연구 질문

• RQ1 현재의 다중모달 및 단일모달 모델들은 참조 불확실성 하에서 인간처럼 소수의 예시를 통한 단어 학습을 수행할 수 있는가?
• RQ2 교차 상황 추론, 기반 형성, 의사소통적 추론을 요구하는 작업에서 모델의 성능는 어떻게 되는가—이는 인간의 단어 학습에서 핵심적인 메커니즘이다.
• RQ3 대규모 언어 모델과 시각-언어 모델은 명시적 지시 없이도 새로운 단어 의미로 일반화할 수 있는가?
• RQ4 현재 모델의 실패 요인은 관계어 및 수어 학습에서 인간 성능와 비교해 볼 때 어떤가?
• RQ5 단일모달 LLM은 지각적 기반 없이 개념적 역할과 단어 의미를 학습할 수 있으며, 다중모달 모델과 비교해 어떤가?

주요 결과

• 다중모달 시각-언어 모델, 특히 Flamingo와 같은 대규모 모델은 MEWL의 대부분의 작업에서 뚜렷한 어려움을 겪으며, 특히 관계어 및 수어 학습에서 그렇다.
• 가장 큰 시각-언어 모델인 Flamingo도 인간의 성능에 훨씬 못 미치며, 이는 소수의 예시를 통한 단어 학습 메커니즘에서 근본적인 불일치가 있음을 시사한다.
• 단일모달 대규모 언어 모델은 일부 하위작업, 예를 들어 속성 명명에서는 제한된 소수의 예시 학습 능력을 보이지만, 더 복잡한 관계 및 의사소통적 작업에서는 실패한다.
• 인간 참가자들은 항상 모든 기계 모델보다 뛰어나며, 특히 불확실성 하에서 추론하고 사회적-의사소통적 추론이 필요한 작업에서 그렇다.
• 성능 격차는 구성성, 관계적 이해, 개념 연관성 등 인간처럼 학습하는 데 핵심적인 요소를 포함하는 작업에서 가장 뚜렷하다.
• 결과적으로 현재의 사전학습 체계는 최소한의 혼란스러운 데이터에서 강건한 추론을 수행하는 인간의 단어 학습의 核심 요소를 포착하지 못하고 있음을 시사한다.

Figure 2 : Overview of the four categories of tasks in \scalerel * ○ MEWL : (i) basic naming ( e.g . , shape ), (ii) bootstrap relational word learning ( e.g . , bootstrap ), (iii) learning number words ( e.g . , number ), and (iv) pragmatic word learning ( i.e . , pragmatic ). Each episode consists