[论文解读] Emergence of Phonemic, Syntactic, and Semantic Representations in Artificial Neural Networks

Pierre Orhan, Pablo Diego-Simón+4 more|arXiv (Cornell University)|Jan 26, 2026

Language Development and Disorders被引用 0

一句话总结

该论文表明自监督语音与文本模型在训练过程中其激活中发展出语音音位、词汇语义和句法子空间，这由共享线性探测器揭示，呈现出序贯出现和与人类学习相比的数据需求差距。

ABSTRACT

During language acquisition, children successively learn to categorize phonemes, identify words, and combine them with syntax to form new meaning. While the development of this behavior is well characterized, we still lack a unifying computational framework to explain its underlying neural representations. Here, we investigate whether and when phonemic, lexical, and syntactic representations emerge in the activations of artificial neural networks during their training. Our results show that both speech- and text-based models follow a sequence of learning stages: during training, their neural activations successively build subspaces, where the geometry of the neural activations represents phonemic, lexical, and syntactic structure. While this developmental trajectory qualitatively relates to children's, it is quantitatively different: These algorithms indeed require two to four orders of magnitude more data for these neural representations to emerge. Together, these results show conditions under which major stages of language acquisition spontaneously emerge, and hence delineate a promising path to understand the computations underpinning language acquisition.

研究动机与目标

• 提出一个统一的计算框架来解释支撑语言习得的神经表示。
• 研究在训练过程中，音位、词汇语义和句法表示是否在神经激活中出现。
• 描述跨模态和模型的这些语言结构的几何特征及出现顺序。
• 评估数据效率以及模型中的出现与人类语言习得的比较。

提出的方法

• 将 Hewitt and Manning (2019) 的结构探针推广用于从模型激活中提取音位、词汇语义和句法子空间。
• 拟合线性变换 B（用于可视化的二维，评估用的200维）以将激活距离对齐到语言目标距离。
• 通过目标距离与投影距离在音位、词汇和句法层次上的斯皮尔曼相关性来评估探针表现。
• 构造探针数据集：UD-EWT用于句法，WordNet 名词用于词汇语义，以及来自TTS合成语音并带有对齐的音位表示。
• 比较文本模型（Pythia、Llama2）与语音模型（Wav2Vec 2.0）在模型规模和预训练条件下的表现。
• 通过跟踪训练检查点和预训练步数来评估出现情况。

实验结果

研究问题

• RQ1 在语音和文本模型的神经激活中，音位、词汇语义和句法结构是否作为可分离的子空间出现？
• RQ2 在训练过程中这些语言表示出现的顺序是什么，数据量如何影响它？
• RQ3 模型类型（文本 vs. 语音）和模型规模如何影响这些结构的出现与几何特征？
• RQ4 声学线索在音频模型中在多大程度上混淆了语义表示，控制条件如何解决这一点？
• RQ5 这些发现是否与类似于人类语言习得的发展轨迹一致？

主要发现

• 音位结构在语音模型中可作为独立子空间被恢复，具有类似发音的几何结构（如元音关系）在预训练的中后层出现。
• 词汇语义结构在文本和音频模型中表现出可检测但较为有限的组织，极大依赖于模型规模和数据暴露量。
• 句法表示在语音和文本模型中均可恢复，分数较高，随模型规模趋于平台，但由于语音数据线索，语音模型的出现速度更快。
• 在各个检查点，音位出现先于部分词汇语义出现，后者又先于句法出现，指示出一个序贯的发展轨迹。
• 音频模型需要显著更多的输入数据才能达到可比的表示，与人类儿童相比暴露数据效率存在差距。
• 控制结果表明音频模型中的语义和句法结构并非仅由声学线索引起；文本模型表现出更强且更清晰的语义/句法结构。