[論文レビュー] Learning word-referent mappings and concepts from raw inputs

Wai Keen Vong, Brenden M. Lake|arXiv (Cornell University)|Mar 12, 2020

Multimodal Machine Learning Applications参考文献 23被引用数 6

ひとこと要約

本論文では、事前に分割されたオブジェクトを必要とせず、生の画像とテキストから直接語の意味対応を学ぶ自己教師あり深層学習モデルを提示している。クロス状況学習を用いて語の意味を曇りなく特定し、正確な語-オブジェクト対応を達成し、未知のインスタンスに一般化可能であり、アテンションマップを用いて参照対象を局所化する。また、相互排他的性の傾向を示し、未処理の感覚入力からエンドツーエンドで語を学習できることを示している。

ABSTRACT

How do children learn correspondences between the language and the world from noisy, ambiguous, naturalistic input? One hypothesis is via cross-situational learning: tracking words and their possible referents across multiple situations allows learners to disambiguate correct word-referent mappings (Yu & Smith, 2007). However, previous models of cross-situational word learning operate on highly simplified representations, side-stepping two important aspects of the actual learning problem. First, how can word-referent mappings be learned from raw inputs such as images? Second, how can these learned mappings generalize to novel instances of a known word? In this paper, we present a neural network model trained from scratch via self-supervision that takes in raw images and words as inputs, and show that it can learn word-referent mappings from fully ambiguous scenes and utterances through cross-situational learning. In addition, the model generalizes to novel word instances, locates referents of words in a scene, and shows a preference for mutual exclusivity.

研究の動機と目的

• 簡略化された記号的表現を回避し、生の視覚的および言語的入力から語-参照対応を学ぶ計算モデルを開発すること。
• ピクセルレベルの画像と未処理のテキストから直接クロス状況学習による語の学習が可能かどうかを調査すること。
• 学習済み語の新しい例に一般化できるか、およびシーン内での参照対象を局所化できるかを評価すること。
• 語の学習において、相互排他的性といった認知的バイアスがモデルに現れるかどうかを検討すること。
• 曇りのある自然主義的入力から語-オブジェクト対応を学ぶ際に、オブジェクトのセグメンテーションが必要かどうかを評価すること。

提案手法

• モデルは自己教師学習により、一致するペアと一致しないペアの画像とキャプションを区別する対照的識別タスクで学習される。
• 各入力は、2×2グリッドのMNISTディジットを含む56×56ピクセルの画像と、そのシーン内のディジットに対応する4語のキャプションからなる。
• 不一致ペアは、語-オブジェクトの対応を並び替えることで作成され、曇りのある学習状況を模倣する。
• モデルは、事前にオブジェクト検出を経ずに、全画像を直接処理する畳み込みニューラルネットワーク（Scene-CNN）を用い、視覚的・言語的表現を統合的に学習する。
• 評価時、アテンションマップを用いて、ターゲット語の予測された参照対象をシーン内で局所化する。
• 相互排他的性は、特定のディジットが欠落したシーンで学習し、曇りのある状況で新しいディジットを選ぶ傾向を評価することでテストされる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、生の画像と未処理のテキストからクロス状況学習を用いて正しい語-参照対応を学習できるか？
• RQ2 生の入力で学習した場合、既知の語の新しいインスタンスに一般化できるか？
• RQ3 アテンション機構を用いて、シーン内での語の正しい参照対象を局所化できるか？
• RQ4 モデルは、初期語の学習に知られている認知的バイアスである相互排他的性を示すか？
• RQ5 曇りのある自然主義的入力から効果的なクロス状況学習を行うために、オブジェクトのセグメンテーションは必要か？

主な発見

• Scene-CNNモデルは、シーンの曇りが増す中でも、チャンスより高い性能を示し、未分割の生画像からのクロス状況学習が可能であることを示している。
• 3600ペアの一致ペア条件においても、性能は有意に高い水準（p < 0.01）を維持し、オブジェクトレベルの事前処理なしに学習が安定していることを確認した。
• モデルは、学習済み語の新しいインスタンスに一般化に成功しており、学習済み表現が概念レベルの一般化を支えることを示している。
• アテンションマップは、正確に正しい参照対象を局所化しており、モデルがシーン内での語-オブジェクト対応を特定できることを示している。
• モデルは、相互排他的性の明確な傾向を示し、曇りのある状況で新しいディジットをより多く選ぶ傾向を示しており、発達的知見と整合的である。
• Scene-CNNは、オブジェクトのセグメンテーションを含まないベースラインモデルを上回ったが、Object-CNNに比べて性能は低かった。これは、オブジェクトレベルのインダクティブバイアスが学習効率を向上させることを示している。