[論文レビュー] MEWL: Few-shot multimodal word learning with referential uncertainty

Guangyuan Jiang, Manjie Xu+5 more|arXiv (Cornell University)|Jun 1, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、人間の子どもたちの「迅速マッピング」能力にインspiredされ、参照の曖昧性がある状況下で機械の少数例マルチモーダル語彙学習を評価するための新規ベンチマークMEWLを紹介する。このベンチマークは、コアな認知的メカニズム—対応的状況推論、ボトムアップ的自己強化、および実用的推論—を反映する9つのタスクを含み、マルチモーダルおよびユニモーダルモデルの性能を評価している。その結果、特に関係的および数詞の学習において、人間と現在のモデルとの間で顕著な性能格差が明らかになった。

ABSTRACT

Without explicit feedback, humans can rapidly learn the meaning of words. Children can acquire a new word after just a few passive exposures, a process known as fast mapping. This word learning capability is believed to be the most fundamental building block of multimodal understanding and reasoning. Despite recent advancements in multimodal learning, a systematic and rigorous evaluation is still missing for human-like word learning in machines. To fill in this gap, we introduce the MachinE Word Learning (MEWL) benchmark to assess how machines learn word meaning in grounded visual scenes. MEWL covers human's core cognitive toolkits in word learning: cross-situational reasoning, bootstrapping, and pragmatic learning. Specifically, MEWL is a few-shot benchmark suite consisting of nine tasks for probing various word learning capabilities. These tasks are carefully designed to be aligned with the children's core abilities in word learning and echo the theories in the developmental literature. By evaluating multimodal and unimodal agents' performance with a comparative analysis of human performance, we notice a sharp divergence in human and machine word learning. We further discuss these differences between humans and machines and call for human-like few-shot word learning in machines.

研究の動機と目的

• 機械における人間らしく、発達的根拠に基づいた少数例語彙学習の評価が、体系的かつ体系的に不足しているという問題に対処すること。
• 人間の語彙学習に含まれるコアな認知的メカニズム—対応的状況推論、ボトムアップ的自己強化、および実用的推論—を捉えるベンチマークを設計すること。
• 最小限の曖昧な視覚的・言語的文脈から語の意味を学習する能力を、マルチモーダルおよびユニモーダルモデルが果たせるかを評価すること。
• 機械の性能を、同じタスクで人間の性能と直接比較することで、現在の学習パラダイムにおける根本的な格差を明らかにすること。
• 今後の研究を促進し、子どもたちが行うように、心理的に情報に基づいた学習ベンチマークを通じて、曖昧性を伴う学習を可能にする機械の構築を目指すこと。

提案手法

• MEWLは、参照の曖昧性を制御した構造的かつ多様な視覚的シーンを生成できるCLEVR環境内に構築された。
• 各タスクでは、6枚の文脈画像と、新しい発話（例：緑のシリンダーを指して「daxy」）が提示され、エージェントは照合画像において正しい指標を特定する必要がある。
• 基本的属性の命名、関係的語彙学習、数詞の学習、および実用的語彙学習を調べる9つの異なるタスクが設計された。
• ベンチマークは、最小限の監視のもとで少数例学習を強制し、子どもたちが語と意味のペアを被動的かつ対応的状況で露出するのを模倣している。
• モデルは、共起パターンや文脈的手がかりから、参照の曖昧性が存在する中でも語の意味を推論する能力が評価される。
• 人間の参加者を募集して性能のベースラインを確立し、機械モデルとの直接比較を可能にした。

Figure 1 : Illustration of few-shot word learning. Children can acquire a novel word after only few exposures using cross-situational information, even with referential uncertainty. In this example, a child induces that daxy refers to the color green and hally magenta , all from the experience of a

実験結果

リサーチクエスチョン

• RQ1 現在のマルチモーダルおよびユニモーダルモデルは、参照の曖昧性がある状況下でも、人間のように少数例語彙学習を実行できるか？
• RQ2 対応的状況推論、ボトムアップ的自己強化、および実用的推論を要するタスクにおいて、モデルの性能はどの程度か—これらは人間の語彙学習におけるコアなメカニズムである。
• RQ3 大規模言語モデルおよび視覚言語モデルは、明示的な監視なしに、新しい語の意味に一般化できる程度はどの程度か？
• RQ4 関係的および数詞の学習において、現在のモデルの主な失敗モードは何か、人間の性能と比較してどうか？
• RQ5 ユニモーダルLLMは、知覚的根拠なしに概念的役割や語の意味を学習できるのか、マルチモーダルモデルと比較してどうか？

主な発見

• マルチモーダル視覚言語モデル、Flamingoのような大規模モデルを含め、MEWLの大多数のタスクで顕著な困難を示しており、特に関係的および数詞の学習において顕著である。
• 最大の大規模視覚言語モデル（Flamingo）ですら、人間の性能に大きく劣っており、少数例語彙学習のメカニズムに根本的な不整合があることを示唆している。
• ユニモーダル大規模言語モデルは、属性の命名のような特定のサブタスクでは限定的な少数例語彙学習能力を示すが、より複雑な関係的および実用的タスクでは失敗する。
• 人間の参加者は、推論の曖昧性や社会的・実用的推論を要するタスクにおいて、常にすべての機械モデルを上回った。
• 性能格差は、合成性、関係的理解、および概念的関連付けを含む、人間らしい学習の主要な要素において最も顕著に現れた。
• 結果から、現在の事前学習パラダイムが、最小限で曖昧なデータからの強固な推論といった、人間の語彙学習のコアな側面を捉えていないことが示唆された。

Figure 2 : Overview of the four categories of tasks in \scalerel * ○ MEWL : (i) basic naming ( e.g . , shape ), (ii) bootstrap relational word learning ( e.g . , bootstrap ), (iii) learning number words ( e.g . , number ), and (iv) pragmatic word learning ( i.e . , pragmatic ). Each episode consists