[論文レビュー] Learning from Child-Directed Speech in Two-Language Scenarios: A French-English Case Study

Liel Binyamin, Elior Sulem|arXiv (Cornell University)|Mar 13, 2026

Language Development and Disorders被引用数 0

ひとこと要約

この論文は、子ども向け話し言葉と多領域データで学習させた英仏のコンパクトな多言語モデルを系統的に研究し、モノリンガル／バイリンガル／クロスリンガル事前学習を比較し、言語横断で意味論的および文法的タスクを評価する。

ABSTRACT

Research on developmentally plausible language models has largely focused on English, leaving open questions about multilingual settings. We present a systematic study of compact language models by extending BabyBERTa to English-French scenarios under strictly size-matched data conditions, covering monolingual, bilingual, and cross-lingual settings. Our design contrasts two types of training corpora: (i) child-directed speech (about 2.5M tokens), following BabyBERTa and related work, and (ii) multi-domain corpora (about 10M tokens), extending the BabyLM framework to French. To enable fair evaluation, we also introduce new resources, including French versions of QAMR and QASRL, as well as English and French multi-domain corpora. We evaluate the models on both syntactic and semantic tasks and compare them with models trained on Wikipedia-only data. The results reveal context-dependent effects: training on Wikipedia consistently benefits semantic tasks, whereas child-directed speech improves grammatical judgments in monolingual settings. Bilingual pretraining yields notable gains for textual entailment, with particularly strong improvements for French. Importantly, similar patterns emerge across BabyBERTa, RoBERTa, and LTG-BERT, suggesting consistent trends across architectures.

研究の動機と目的

• 英語以外の発達的に妥当な multilingual language modeling を資源制約下で開発する動機づけ。
• 慎重にサイズを揃えたコーパス（CDSと多領域データ）を用いて、モノリンガル、バイリンガル、クロスリンガルの事前学習を系統的に比較する。
• 公平なクロスリンガル試験を可能にするため、フランス語版の評価データ（QAMR、QASRL）とバイリンガル資源を導入する。
• 英語とフランス語の文法的（統語）および意味論的理解（QA、エンタイルメント）を評価する。
• 観察されたパターンの頑健性を確保するため、複数の小型モデルでアーキテクチャ横断的な一般化チェックを提供する。

提案手法

• BabyBERTa をコアのコンパクトモデルとして採用し、データ規模を2.5Mトークン程度の CDS と約10Mトークンの多領域データの2段階で再訓練する。
• 厳密にサイズを揃えた英語・フランス語コーパスを用いて、平行のモノリンガル、バイリンガル、クロスリンガルの事前学習設定を構築する。
• 言語固有のファインチューニングで構文タスク（CLAMS）と意味タスク（SQuAD/FQuAD、QAMR、QASRL、XNLI）を評価する。ベースライン比較には RoBERTa-base と CamemBERT-base を含める。
• QAMR と QASRL のフランス語版を作成し、バランスの取れたクロスリンガル試験のための英仏多領域コーパスを開発する。
• RoBERTa、T5-tiny、LTG-BERT など他のアーキテクチャで分析を再現し、クロスアーキテクチャの一般化を検証する。

実験結果

リサーチクエスチョン

• RQ1 モノリンガル、バイリンガル、クロスリンガル事前学習の下で、能力は言語間で転移するのか。
• RQ2 CDS と多領域コーパスは英語とフランス語の文法的 vs 意味論的性能にどう影響するのか。
• RQ3 バイリンガル事前学習は、特に弱い言語であるフランス語に対して、一貫したタスク横断の利益を生むのか。
• RQ4 観測された効果は、コンパクトとより大きなベースラインの異なるアーキテクチャ間で頑健か。
• RQ5 CDS と Wikipedia データを組み合わせた場合、意味論的および転移感度タスクに与える影響はどうなるのか。

主な発見

• バイリンガル事前学習はテキスト含意（XNLI）に顕著な利得をもたらし、特にフランス語に利益を及ぼす。
• Wikipedia での訓練は意味論的タスク（QA、含意）に有利で、子ども向け話し言葉データの訓練はモノリンガル設定で文法能力を重視する。
• CDS への曝露は Wikipedia 訓練と正の相互作用をもち、意味論的および転移感度タスクを改善し、特にフランス語で効果的。
• データ規模が小さい場合（≈2.5M CDS）にバイリンガル曝露が意味的利益を提供；規模が大きい場合（≈10M 多領域）にはモノリンガル優勢が進むが、XNLI のようなタスクではバイリンガル利得が一部持続。
• 複数アーキテクチャ（BabyBERTa、RoBERTa、LTG-BERT、T5-tiny）でパターンは一貫しており、観察された効果の頑健性を示している。
• 小型モデルでも発達的に妥当なデータで意味論的能力を有意義に獲得でき、資源制約下で大規模モデルの性能 Trends に近づく。