[논문 리뷰] Learning from Child-Directed Speech in Two-Language Scenarios: A French-English Case Study

Liel Binyamin, Elior Sulem|arXiv (Cornell University)|2026. 03. 13.

Language Development and Disorders인용 수 0

한 줄 요약

이 논문은 아동 대상 발화와 다 도메인 데이터로 학습된 컴팩트 다국어 모델(영어-프랑스어)을 체계적으로 연구하고, 단일언어, 이중언어, 교차언어 사전학습을 비교하며 언어 간 의미 및 문법 과제에서 평가한다.

ABSTRACT

Research on developmentally plausible language models has largely focused on English, leaving open questions about multilingual settings. We present a systematic study of compact language models by extending BabyBERTa to English-French scenarios under strictly size-matched data conditions, covering monolingual, bilingual, and cross-lingual settings. Our design contrasts two types of training corpora: (i) child-directed speech (about 2.5M tokens), following BabyBERTa and related work, and (ii) multi-domain corpora (about 10M tokens), extending the BabyLM framework to French. To enable fair evaluation, we also introduce new resources, including French versions of QAMR and QASRL, as well as English and French multi-domain corpora. We evaluate the models on both syntactic and semantic tasks and compare them with models trained on Wikipedia-only data. The results reveal context-dependent effects: training on Wikipedia consistently benefits semantic tasks, whereas child-directed speech improves grammatical judgments in monolingual settings. Bilingual pretraining yields notable gains for textual entailment, with particularly strong improvements for French. Importantly, similar patterns emerge across BabyBERTa, RoBERTa, and LTG-BERT, suggesting consistent trends across architectures.

연구 동기 및 목표

• 제한 자원 환경에서 영어를 넘어 개발적으로 타당한 다국어 언어 모델링을 모티브로 삼습니다.
• 크게 맞춘 크기(CDS와 다도메인)로 구성된 코퍼스를 사용하여 단일언어, 이중언어, 교차언어 사전학습을 체계적으로 비교합니다.
• 공정한 다언어 테스트를 가능하게 하기 위해 QAMR, QASRL의 프랑스어 변형과 이중언어 자원을 도입합니다.
• 영어와 프랑스어 모두에서 문법적(구문) 이해와 의미론적 이해(QA, entailment)를 평가합니다.
• 관찰된 패턴의 강건성을 확보하기 위해 여러 작은 모델들에 대한 아키텍처 일반화 검사를 제공합니다.

제안 방법

• 핵심 컴팩트 모델로 BabyBERTa를 사용하고 두 데이터 규모로 재학습합니다: 약 2.5M 토큰(CDS)과 약 10M 토큰(다도메인).
• 엄격하게 크기가 일치된 영어와 프랑스어 코퍼스로 병렬 단일언어, 이중언어, 교차언어 사전학습 설정을 구성합니다.
• 구문적(CLAMS) 및 의미적(SQuAD/FQuAD, QAMR, QASRL, XNLI) 과제에서 언어별 파인튜닝으로 평가합니다; 기준선 비교로 RoBERTa-base와 CamemBERT-base를 포함합니다.
• QAMR와 QASRL의 프랑스어 버전을 만들고 영어/프랑스어 다도메인 코퍼스를 개발하여 균형 잡힌 다언어 테스트를 가능하게 합니다.
• RoBERTa, T5-tiny, LTG-BERT로 분석을 재현하여 교차 아키텍처 일반화를 검토합니다.

실험 결과

연구 질문

• RQ1 단일언어, 이중언어, 교차언어 사전학습 하에서 언어 간 역량이 이전될까?
• RQ2 CDS와 다도메인 코퍼스가 영어와 프랑스어에서 문법적 대 의미론적 성능에 어떤 영향을 미치는가?
• RQ3 이중언어 사전학습은 특히 약한 언어인 프랑스어에 대해 일관된 이점을 제공하는가?
• RQ4 다른 모델 아키텍처(컴팩트 대 더 큰 베이스)에서도 관찰된 효과가 강건한가?
• RQ5 CDS와 위키피디아 데이터의 결합이 의미론적 및 전이 민감한 과제에 미치는 영향은?
• RQ6 작은 모델도 개발적으로 타당한 데이터로 의미론적 능력을 갖추고 더 큰 모델의 성능 트렌드에 근접할 수 있는가?

주요 결과

• 이중언어 사전학습은 텍스트 엔타일먼트(XNLI)에서 눈에 띄는 이점을 제공하며 특히 프랑스어에 혜택을 준다.
• 위키피디아 학습은 의미론적 과제(QA, entailment)에 유리하고, 아동 대상 발화 학습은 단일언어 설정에서 문법 능력에 유리하다.
• CDS 노출은 위키피디아 학습과 긍정적으로 상호작용하여 프랑스어의 의미론적 및 전이 민감한 과제를 개선한다.
• 더 작은 데이터 규모(CDS 약 2.5M)에서는 이중언어 노출이 의미론적 이점을 제공한다; 더 큰 규모(약 10M 다도메인)에서는 단일언어 우세가 커지지만 어떤 과제, 예를 들면 XNLI에서 이중언어 이득은 지속된다.
• 여러 아키텍처(BabyBERTa, RoBERTa, LTG-BERT, T5-tiny)에서 패턴의 일관성이 관찰되어 효과의 강건성을 시사한다.
• 작은 모델도 개발적으로 타당한 데이터로 의미론적 능력을 확보할 수 있으며 제약 자원 하에서 더 큰 모델의 성능 추세에 근접한다.