[論文レビュー] A Computational Model of Early Word Learning from the Infant's Point of View

Satoshi Tsutsui, Arjun Chandrasekaran+3 more|arXiv (Cornell University)|Jun 4, 2020

Advanced Image and Video Retrieval Techniques参考文献 26被引用数 11

ひとこと要約

本研究では、自然なおもちゃ遊びの際の乳児のエゴセントリックなビデオおよび視線データを用いて、原始的な視覚的参照と語の名前を結びつけるための、初めての計算モデルを提示する。このモデルは、乳児の視点からの視覚的入力――特に大きな物体に対する持続的注意――が、現実世界の状況下で参照の不確実性を克服する手助けになると示している。

ABSTRACT

Human infants have the remarkable ability to learn the associations between object names and visual objects from inherently ambiguous experiences. Researchers in cognitive science and developmental psychology have built formal models that implement in-principle learning algorithms, and then used pre-selected and pre-cleaned datasets to test the abilities of the models to find statistical regularities in the input data. In contrast to previous modeling approaches, the present study used egocentric video and gaze data collected from infant learners during natural toy play with their parents. This allowed us to capture the learning environment from the perspective of the learner's own point of view. We then used a Convolutional Neural Network (CNN) model to process sensory data from the infant's point of view and learn name-object associations from scratch. As the first model that takes raw egocentric video to simulate infant word learning, the present study provides a proof of principle that the problem of early word learning can be solved, using actual visual data perceived by infant learners. Moreover, we conducted simulation experiments to systematically determine how visual, perceptual, and attentional properties of infants' sensory experiences may affect word learning.

研究の動機と目的

• 乳児の第一人称視点からの本物の感覚的入力を用いて、事前に処理されたデータや記号的データではなく、早期の語学習をモデル化すること。
• 乳児のリアルタイムの感覚的体験における視覚的・知覚的・注意的特性が語学習に与える影響を調査すること。
• 参照の不確実性が、乳児の視点からの実際の視覚的データを用いることで、どのように解消できるかを計算的に検証するための概念的証明を提供すること。

提案手法

• ヘッドマウントカメラおよび眼動追跡装置を用いて、乳児と保護者による自然なおもちゃ遊びの際のエゴセントリックなビデオおよび視線追跡データを収集した。
• 保護者が物体の名前を言った瞬間の周囲の画像フレームを抽出し、視覚的情報と音声ラベルがペairedされたデータセットを作成した。
• 原始的な視覚フレームを用いて、ResNetベースの畳み込みニューラルネットワーク（CNN）を訓練し、音声の物体名と視覚的物体の外観との関連を学習させた。
• 物体の大きさや注意の分布（持続的注意対分散的注意）といった視覚的特性に基づいて、名前が付けられた物体のインスタンスを分類した。
• 各命名イベントにおける、他の物体（干渉要因）の中から正しい名前が付けられた物体を特定する際の正答率を用いて、モデルのパフォーマンスを評価した。
• 物体の大きさと注意の集中具合の影響を分離するために、シミュレーション実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、乳児の現実世界の相互作用から得た原始的なエゴセントリックなビデオおよび視線データのみを用いて、物体名の関連付けを成功裏に学習できるか？
• RQ2 視野内でのターゲットオブジェクトのサイズが、モデルの語-物体マッピングの学習能力にどのように影響するか？
• RQ3 命名イベント中にターゲットオブジェクトに対して持続的注意を払うことで、分散的注意よりも学習パフォーマンスが向上するか？
• RQ4 乳児の感覚的入力の視覚的および注意的特性が、早期の語学習における参照の不確実性の解消にどの程度寄与するか？

主な発見

• 乳児が持続的注意を示した際、ターゲットオブジェクトが大きい命名イベントでは平均正答率24.27%を達成したが、これは小さなターゲットオブジェクトの12.18%よりも顕著に高く、p < 0.001であった。
• 分散的注意のイベントでは、大きなターゲットオブジェクトで17.07%、小さなターゲットオブジェクトで12.88%の正答率を示し、p < 0.05であった。これにより、物体の大きさが学習結果に与える影響が確認された。
• 命名イベント中に持続的注意が払われた場合、分散的注意よりも顕著に高い学習正答率が得られた。これは、持続的注意が視覚的入力の質を向上させる役割を果たしていることを支持する。
• 結果から、乳児が得られる視覚的入力――特に物体の大きさと注意の集中具合――が、語学習の成功に直接的かつ測定可能な影響を与えていることが示された。
• 本研究は、参照の不確実性が乳児の視点からの現実世界の感覚的データを用いて解消可能である、初めての計算的証拠を提供した。
• 研究結果は、持続的注意と目立つ視覚的特徴（大きな物体の大きさなど）が、早期の語彙発達の強力な予測要因である理由を、感覚レベルでの説明として支持する。