[论文解读] Learning from Child-Directed Speech in Two-Language Scenarios: A French-English Case Study

Liel Binyamin, Elior Sulem|arXiv (Cornell University)|Mar 13, 2026

Language Development and Disorders被引用 0

一句话总结

该论文系统性研究在儿童指向语音和多领域数据上训练的紧凑型多语言模型（英语-法语），对比单语、双语与跨语言预训练，并在跨语言的语义与语法任务上进行评估。

ABSTRACT

Research on developmentally plausible language models has largely focused on English, leaving open questions about multilingual settings. We present a systematic study of compact language models by extending BabyBERTa to English-French scenarios under strictly size-matched data conditions, covering monolingual, bilingual, and cross-lingual settings. Our design contrasts two types of training corpora: (i) child-directed speech (about 2.5M tokens), following BabyBERTa and related work, and (ii) multi-domain corpora (about 10M tokens), extending the BabyLM framework to French. To enable fair evaluation, we also introduce new resources, including French versions of QAMR and QASRL, as well as English and French multi-domain corpora. We evaluate the models on both syntactic and semantic tasks and compare them with models trained on Wikipedia-only data. The results reveal context-dependent effects: training on Wikipedia consistently benefits semantic tasks, whereas child-directed speech improves grammatical judgments in monolingual settings. Bilingual pretraining yields notable gains for textual entailment, with particularly strong improvements for French. Importantly, similar patterns emerge across BabyBERTa, RoBERTa, and LTG-BERT, suggesting consistent trends across architectures.

研究动机与目标

• 在受限资源环境中推动符合发展规律的多语言语言建模研究。
• 系统性比较单语、双语和跨语言预训练，采用严格尺寸匹配的语料（CDS 与多领域）。
• 引入法语版本的评估数据集（QAMR、QASRL）以及双语资源，以实现公平的跨语言测试。
• 评估英语与法语在语法（句法）与语义理解（问答、蕴涵）方面的性能。
• 在多个小型模型上进行架构层面的泛化检验，确保观察到的模式具有鲁棒性。

提出的方法

• 以 BabyBERTa 为核心紧凑模型，在两种数据规模上再训练：约 250 万标记（CDS）和约 1000 万标记（多领域）。
• 构建并行的单语、双语和跨语言预训练设置，严格对齐英语与法语的语料规模。
• 在句法任务（CLAMS）与语义任务（SQuAD/FQuAD、QAMR、QASRL、XNLI）上进行语言特异的微调评估；基线比较包括 RoBERTa-base 与 CamemBERT-base。
• 创建法语版本的 QAMR 与 QASRL，并开发英语/法语多领域语料以实现均衡的跨语言测试。
• 通过在 RoBERTa、T5-tiny、LTG-BERT 等多种架构上复现分析，考察跨架构泛化。

实验结果

研究问题

• RQ1 单语、双语与跨语言预训练下，能力是否在不同语言间实现迁移？
• RQ2 CDS 与多领域语料对英语与法语的语法与语义性能有何影响？
• RQ3 双语预训练是否在各任务上均带来提升，尤其是对较弱语言（法语）？
• RQ4 观察到的效应是否在不同模型架构（紧凑型 vs. 较大基线）上具有鲁棒性？
• RQ5 将 CDS 与维基数据结合对语义与迁移敏感任务有何影响？

主要发现

• 双语预训练在文本蕴涵（XNLI）上带来显著提升，且对法语尤为有利。
• 维基数据训练有利于语义任务（问答、蕴涵），而儿童指向语音训练在单语设置下有利于语法能力。
• CDS 的暴露与维基训练互相促进，提升语义与迁移敏感任务，尤其对法语有显著提升。
• 在较小数据规模（≈250 万 CDS）时，双语暴露带来语义收益；在较大规模（≈1000 万多领域）时，单语主导性增强但对某些任务如 XNLI，双语收益仍然存在。
• 在多种架构（BabyBERTa、RoBERTa、LTG-BERT、T5-tiny）下，观察到的模式保持一致，表明效应具有鲁棒性。
• 小型模型在发展规律性的数据下也能达到有意义的语义能力，接近资源受限情况下较大模型的性能趋势。