[论文解读] Can phones, syllables, and words emerge as side-products of cross-situational audiovisual learning? -- A computational investigation

Khazar Khorrami, Okko Räsänen|arXiv (Cornell University)|Sep 29, 2021

Multisensory perception and integration参考文献 93被引用 5

一句话总结

这项计算研究调查了在没有显式监督或语言先验的情况下，语音（音素）、音节和词汇（词）单位是否能在跨情境视听学习过程中作为潜在表征自发出现。通过在合成语音和真实语音配对视觉输入的数据上训练深度神经网络，作者证明了这些语言单位会在学习表征中自发出现，支持了潜在语言假说（LLH）。

ABSTRACT

Decades of research has studied how language learning infants learn to discriminate speech sounds, segment words, and associate words with their meanings. While gradual development of such capabilities is unquestionable, the exact nature of these skills and the underlying mental representations yet remains unclear. In parallel, computational studies have shown that basic comprehension of speech can be achieved by statistical learning between speech and concurrent referentially ambiguous visual input. These models can operate without prior linguistic knowledge such as representations of linguistic units, and without learning mechanisms specifically targeted at such units. This has raised the question of to what extent knowledge of linguistic units, such as phone(me)s, syllables, and words, could actually emerge as latent representations supporting the translation between speech and representations in other modalities, and without the units being proximal learning targets for the learner. In this study, we formulate this idea as the so-called latent language hypothesis (LLH), connecting linguistic representation learning to general predictive processing within and across sensory modalities. We review the extent that the audiovisual aspect of LLH is supported by the existing computational studies. We then explore LLH further in extensive learning simulations with different neural network models for audiovisual cross-situational learning, and comparing learning from both synthetic and real speech data. We investigate whether the latent representations learned by the networks reflect phonetic, syllabic, or lexical structure of input speech by utilizing an array of complementary evaluation metrics related to linguistic selectivity and temporal characteristics of the representations. As a result, we find that representations associated...

研究动机与目标

• 调查在没有显式语言监督的情况下，语音、音节和词汇单位是否能在视听跨情境学习过程中作为潜在表征自发出现。
• 评估视听统计学习在未被显式训练于这些结构的情况下，产生结构化语言表征的程度。
• 通过合成和真实语音数据，在计算模型中检验潜在语言假说（LLH）的有效性。
• 通过多种互补的评估指标，评估学习表征是否反映已知的语言结构。
• 比较不同神经网络架构和数据类型（合成语音与真实语音）下语言单位的出现情况。

提出的方法

• 在跨情境视听学习任务上训练深度神经网络，其中语音输入与参照模糊的视觉刺激配对。
• 使用合成语音（具有受控的语音和词汇结构）和真实人类语音录音，以评估在不同类型数据上的鲁棒性。
• 采用表征分析技术，探测学习特征中的语言选择性和时间结构。
• 应用对语音、音节和词汇组织敏感的评估指标，包括聚类分析和时间一致性评估。
• 比较不同网络架构的表征，以评估研究发现的泛化能力。
• 使用对比学习和自监督学习目标，以在无显式语言标签的情况下，鼓励解耦且有意义的表征。

实验结果

研究问题

• RQ1 在未显式训练于音素的情况下，语音单位（音素）是否能在视听跨情境学习中作为潜在表征自发出现？
• RQ2 音节结构在视听模型学习表征中出现的程度如何？
• RQ3 在缺乏词级监督的情况下，词汇层级单位（词）是否能作为视听学习的副产品自发形成？
• RQ4 在合成语音与真实语音数据之间，出现的语言表征有何异同？
• RQ5 不同神经网络架构是否在学习表征中产生相似水平的语言结构？

主要发现

• 视听神经网络的潜在表征对语音单位表现出强烈的特异性，表明音素作为跨情境学习的副产品自发出现。
• 学习表征的时间动态和聚类也反映出音节结构，表明存在自发的音节层级组织。
• 当输入具有词结构时，即使没有显式的词边界或标注，词汇层级单位也会在表征中自发形成。
• 在具有受控音系和词汇结构的合成语音上训练的模型中，语言结构的出现更为显著。
• 从真实语音学习到的表征仍表现出显著的语言特异性，尽管程度低于合成数据，表明在不同类型数据间具有鲁棒性。
• 不同神经网络架构在表征中产生定性相似的语言结构，支持潜在语言假说的泛化性。